Davius, o que o Gago disse é a regra número 1 pra usar o Mental Ray no Max, mesmo tendo a sombra Mental Ray Shadow Map, não usa, só usa Raytrace Shadows.
As outras sombras não funcionam com o Mental Ray, quero ver vc fazer sombra suave com a sombra AreaShadow usando uma luz Omni comum, não faz, fica dura, porque o Mental Ray não aceita essa sombra, isso ai é recurso do Scanline.
Nem Adv Raytrace ele aceita, só a Raytrace Shadows.
Isso é a terceira aula do vídeo de mental ray da 3d1, se vc está tão perdido e com tantas dúvidas, pega esse curso que vc vai ver, vai aprender tudo isso ai.
Pra fazer sombra suave no seu teste tem que usar uma luz Area, porque só luzes Area criam sombras suaves no Mental Ray.
Mas pra ficar perfeita e super realista, o certo é criar Caustics, só que ai complica bem!