Oi 13design, tudo bem?
O V-Ray tem um modificador para aplicar no objeto e configurar o Displacement, você aplicou este modificador e testou as configurações dele?
Eu não lembro mais para poder falar o que precisa modificar, mas deve ter configurações para controlar a subdivisão da malha, quanto mais subdividida for, mais detalhado ficará o Displacement.
O serrilhado acontece por ter poucos polígonos na subdivisão.
Mas também é muito importante tomar cuidado com a imagem, se for preta e branco pura feita num programa vetorial, não tem como ficar bom, a mudança é muito drástica.
Abra a imagem no PhotoShop e aplique um pouco de Blur, para ter uma transição mais suave entre o preto e o branco.
Abraços