Oi Ghost, tudo bem?
A única sombra default do Max que pode ser usada com o Mental Ray é a Ray Traced Shadows, ainda pode usar a Shadow Map exclusiva do MR, mas raramente vai usar, só em luzes secundárias as vezes, porque Shadow Map não gera Photons.
O normal é usar as luzes próprias do Mental Ray, se não quer Area Shadow deixa o Size dela pequeno, se quer Area Shadow é só aumentar o size.
As luzes exclusivas dos renderizadores de última geração normalmente são bem mais simples que as luzes padrões do Max, porque se comportam como luzes reais mesmo, não precisam de tantos ajustes, apenas cor, tamanho e intensidade, fora as configurações de geração de Photons.
Agora quanto a qualidade, depende de muitas outras coisas, depende das configurações de Samplers na janela Renderer, das configurações do tipo de traçamento das sombras também na janela Renderer, e da configuração de FG na janela Indirect Illumination.
Abraços