Oi Sherlock, tudo bem?
Realmente o Displacement do Mental Ray é muito melhor do que o do Max, só de não ter que aplicar modificador nenhum no objeto, já ajuda muito. E você está usando no Slot Displacement padrão do Max, se usar os Shaders de Displacement do Mental Ray tem ainda mais recursos.
Mas apesar dele permitir muitas subdivisões, é melhor você usar uma malha mais detalhada, porque consome menos memória para fazer as subdivisões.
Agora, quanto as sombras, não é para dar nenhum problema, a não ser que você tenha criado um material puro do Mental Ray e não uso um Shader de Shadow.
Ou então é o que o aabb disse, mas neste caso, eu sugiro que estude melhor o Mental Ray antes de tentar usar os outros efeitos, porque esse lance de só usar sombra Raytrace com ele é a primeira coisa que precisa saber.
Ele faz todos os efeitos com Raytrace, pode usar sombra Raytrace em tudo que nunca vai dar problema.
Abraços