Oi Eduardo, tudo bem?
Eu agradeço muito pelas informações, porque eu não teria como testar aqui e agora sei que pelo menos a partir da versão 1.48 não precisa mais aplicar o modificador VRaydisplacementmod.
Só acho estranho então a Chaos ter deixado esse modificador, deve ser justamente por causa do controle da subdivisão, se você quiser usar um objeto com baixa resolução e subdividir bastante, não tem como sem aplicar o modificador, esse controle deve estar nele.
Como acontece com o modificador usado pelo Displacement no render padrão do Max, ele só serve para controlar a subdivisão, porque o mapeamento pode ser feito com os recursos padrões do Max mesmo.
Então eu acho que é por isso que você disse sobre a resolução da malha ter que ser alta, isso é verdade que melhora o Displacement em qualquer render, no Mental Ray também, mas tem que ter a opção de usar uma malha em baixa resolução e aplicar muitas subdivisões só na hora do Render.
O Mental Ray tem este controle na janela Render Scene, fica no final da ficha Renderer, no Render padrão tem que aplicar o modificador Disp Approx para ter esse controle e no V-Ray é o modificador dele que faz isso, testa para você ver.
Abraços