O mental ray é um render.
Render é o programa que calcula os efeitos de iluminação e materiais que você criou na cena 3D para fazer a imagem realista, porque na cena 3D não tem estes efeitos, ai tem que renderizar para criar a imagem.
Vc faz isso teclando F9.
Só que para criar efeitos avançados de iluminação que deixem a cena realista, vc precisa usar um render que tem estes efeitos e precisa configurar para ficar certo na cena, não é só teclar F9 para ter a cena realista, tudo tem que ser bem configurado para ficar realista.
Ai para fazer o render tem um monte de programas, para falar alguns, tem o Final Render, Brazil Render, V-Ray, Yaf Ray, Air, FPrime, Maxwell Render, Fryrender e mais um monte.
Mas só tem dois renders que são os mais profissionais e os mais robustos, são usados em todos os filmes do cinema e nas melhores produções de TV, são também os que tem mais recursos.
Estes dois render são o Mental Ray e o Renderman.
O Mental Ray vem integrado nos 3 grandes softs de 3D do mundo, o Max, o Maya e o XSI, os outros não vem em nehum, são plug-ins e tem que instalar separado, tem que mudar tudo na forma de fazer materiais e usar luzes.
Se você viu o Oscar no final de semana, quase todos os filmes que estavam lá foram feitos com o Mental Ray, se não foi com ele foi com o Renderman, tipo Ratatouille, que foi feito com o Renderman.
Mas não é só ligar o Mental Ray ai que vc sair tudo lindo, é igual eu disse no começo, tem que estudar muito.
Nesta página tem um monte de tutoriais do Mental Ray: http://www.tresd1.com.br/artigos.php?t=14681