Oi Kaki, tudo bem?
Tem algumas regras que precisa seguir para usar o Mental Ray, mas entre todos os renders disponíveis para o 3ds max, o que menos tem essas regras é o Mental Ray, porque é o mais integrado.
Em todos os outros renders muda muito mais coisas.
Nesta sua questão da sombra, lembre sempre de uma coisa muito importante.
Só existe um tipo de sombra para trabalhar no Mental Ray, é a Ray Traced Shadow, desconsidere todas as outras, inclusive a Mental Ray Shadow Map.
Se usar qualquer luz Standard ou Photometric do Max, use sombra Ray Traced Shadow.
Se quer sombra suave, use as luzes MR ou Photometrics Area, sempre com sombra Ray Traced Shadows.
Sobre o sistema de Antialiasing do Mental Ray, é cheio de firula, porque é um super sistema, é uma das coisas que o tornam apropriado para cinema.
Fica difícil de explicar aqui no fórum para conseguir boa qualidade com baixo tempo.
Mas apenas para conseguir boa qualidade, coloca 16 no Maximum e escolha o Filtro Mitchell
Abraços