Oi Adelande, tudo bem?
Ensinar a partir do zero como configurar o Mental Ray, fica impossível com mensagens de fórum, em vídeo aula eu levei 10 horas e meia porque editei o vídeo retirando qualquer segundo de desperdício.
Então, uma pergunta abrangente assim é difícil de responder, se perguntar especificamente sobre uma questão do render, ai fica mais fácil da gente tentar ajudar.
Os tutoriais de Mental Ray que tem aqui na 3D1 explicam o básico do uso de Photons e Final Gather, mas precisa testar muito para pegar as manhas.
A questão das unidades do programa também é muito importante, muita gente não consegue bons resultados porque mudaram o Max para metros.
Conhecer muito bem os recursos de materiais, saber usar mapas procedurais e saber definir as propriedades dos materiais é muito importante, é pré requisito para estudar o Mental Ray.
Conhecer muito bem sobre luzes e todas as configurações que elas oferecem também é pré requisito, porque isso tudo é recurso padrão do Max que existe desde a versão 1, assim, só precisará aprender as configurações do render.
Os tutoriais aqui do site são uma base para aprender isso, estudando bastante eles e testando bastante, você vai começar a entender como funciona.
Ai vai fazer perguntas mais específicas e ficará mais fácil de ajudar.
Abraços