Oi Anonymumm, tudo bem?
Concordo com o Max, o Displace modifica a altura dos vértices conforme o tom de cinza na imagem, então, se tiver uma transição brusca do preto (mais baixo) para o branco (mais alto) pode aparecer este serrilhado devido a resolução do Plane, quanto mais borrado for a transição entre preto e branco, mais suave ficará.
Mas como disse, também depende da resolução do Plane, quanto mais polígonos ele tiver, menor será o serrilhado.
Porém, o seu caso é bem intessante porque os desenhos estão no sentido diagonal em relação a malha poligonal e isso também causa problemas de serrilhado.
Portanto, se você modificar a orientação da malha para ficar no sentido dos desenhos vai diminuir bastante o serrilhado mesmo sem aumentar a resolução.
1- Você modifica a orientação facilmente com o Generate Topology, que fica no menu Ribbon na aba Modeling > Polygon Modeling, como mostra a primeira imagem em anexo.
Porém, só funciona com objetos Poly, então, antes tem que converter em Poly clicando com o botão direito na Viewport e escolhendo Convert to > Editable Poly.
2- Assim, só de você aplicar o mapa de Displace já fica bem mais suave do que o Plane rosa que está com a mesma resolução do Plane azul e o mesmo mapa, mas com os polígonos na orientação padrão, como mostra a segunda imagem em anexo.
3- Este é principalmente um problema de resolução, igual acontece com imagens 2D quando aparece os quadradinhos dos Pixels, mas aqui são os quadradinhos da malha 3D.
Se quiser mais suavidade precisa de mais polígonos, então, aplicando um TurboSmooth antes do Displace para aumentar a resolução do Plane, ficará mais suave, como mostra a terceira imagem em anexo.
4- Pode deixar ainda mais suave se aplicar um Turbo Smooth depois do Displace, assim, ele vai suavizar o resultado do próprio Displace, como mostra a quarta imagem em anexo.
5- Essa é a imagem que usei como mapa de Displace, recortei da sua postagem, ampliei no Photoshop para 800 x 800 Pixels e apliquei Gaussian Blur com 5.9 de intensidade.
Como o Max lembrou muito bem, imagens comuns possuem apenas 256 tons de cinza e isso também causa problemas, pois a transição entre os tons não é tão suave.
Para gerar Displace com mais qualidade precisa utilizar imagens com 16 bit color, pois elas aceitam mais tons.
Estas imagens são salvas normalmente nos formatos TIF ou PNG, pois JPG não aceita 16 bit color.
Se o seu objetivo não é deixar as formas tão suaves e quer criar cantos vivos nos relevos, vai precisar de um Plane com muitos polígonos e uma imagem gigante com 16 bit color, certamente ficará mais leve se modelar de verdade e não é difícil, só precisa fazer as Edges do Plane contornar os desenhos, extrudir e aplicar TurboSmooth.
6- A sexta imagem em anexo mostra o resultado sem aplicar Gaussian Blur na imagem do Displace, as laterais ficaram bem serrilhadas mesmo eu aumentando o Interations do primeiro TurboSmooth para 2.
7- Se aplicar um Gaussian Blur bem leve com 1.2 de intensidade, já suaviza as laterais, como mostra a última imagem em anexo.
Abração e tudo de bom.
André Vieira