Ai mikaellucas, seja bem vindo no fórum cara, o pessoal aqui é fera.
O Mental Ray vem com os 3 melhores programas 3D que existem, então, em qulquer um deles que for trabalhar vai usar o Mental Ray para criar as imagens.
O programa 3D faz a cena como um preview, com qualidade pior do que jogo, mas é tudo em tempo real, você modela, aplica materiais, cria o que quiser, faz animação.
No final disso você precisa criar as imagens do projeto, como se fosse bater uma foto da cena 3D, quem faz essa foto calculando todos os efeitos da cena é o Mental Ray. Deu para pegar?
Você pode fazer com o render padrão dos progamas 3D, o Maya tem render padrão e o Max também, o XSI não tem, só tem o Mental Ray, ele é o render padrão. :)
Mas no render padrão não fica tão bom e não cria todos os efeitos de iluminação e materiais, então, o pessoal usa o Mental Ray para conseguir deixar a cena realista.
Se quiser aprender legal o Mental Ray, eu também indico o curso aqui do site, porque valeu a pena mesmo!!!
O curso é do Mental Ray no 3ds max.