Oi Adelande, tudo bem?
Eu posso te ajudar em tudo que precisar sobre o Mental Ray, mas realmente não vale a pena estudá-lo hoje em dia como disse o JMDesign.
Uma imagem que o Mental Ray leva 1 hora para renderizar, o V-Ray renderiza em 5 minutos ou menos, a diferença de velocidade é gigantesca porque o Mental Ray não evoluiu, mesmo se comparar com versões mais antigas do V-Ray como a 3x.
De qualquer forma, respondendo a sua pergunta:
1- Antes de tudo, vai facilitar bastante se modificar o Default Switcher do Max para o Mental Ray.
Você acessa ele pelo menu Customize > Custom UI And Defaults Switcher, é só escolher a opção Max.mentalray como mostra a primeira imagem em anexo e depois clicar no botão Set.
OBS: Não escolha o Deign.VIZ.mentalray
2- A melhor forma de trabalhar no Mental Ray é configurar o Final Gather com baixa qualidade, apenas para fazer o rebatimento da iluminação, e deixar o sombreado refinado para o Ambient Occlusion, pois se tentar fazer o sombreado refinado com o Final Gather a renderização levará dias.
Portanto, basicamente é só você criar o sistema Daylight com as luzes MR Sun e MR Sky para gerar a iluminação externa, dando OK em todas as mensagens que aparecer, como mostra a segunda imagem em anexo.
Não precisa modificar nenhuma outra configuração do Daylight, apenas alterar o horário do dia se desejar através do painel Motion, o que tem o ícone da rodinha.
3- Se fez tudo certo até agora, é só criar a câmera na cena, teclar 8 para abrir a janela do Environment e ajustar o valor do EV no Exposure Control.
Note que o MR Sky estará aplicado no Environment, ele foi aplicado lá quando criou o Day Light com a luz MR Sky.
O MR Potographic Exposure Control também já estará aplicado no Exposure Control logo abaixo, ele também foi criado junto com o Daylight quando colocou a luz MR Sun.
O valor do EV controla a claridade da cena, em foto de área externa em dia de sol forte tem que usar valores altos como 14, 15 ou 16, caso contrário a imagem ficará completamente branca.
Em cenas internas durante o dia com grandes aberturas você pode usar 13, 12, 11, faça alguns renders de teste para encontrar o valor correto.
Se a abertura for pequena e entrar pouca luz tem que baixar mais o valor do EV para 9, 8 ou 7.
Em cenas internas de noite usando apenas iluminação artificial você vai trabalhar com valores bem menores como 5, 4 ou 3.
4- Em cenas internas de dia você precisa colocar a luz MR Skyportal em cada abertura de porta e janela para ajudar a luz entrar no ambiente, não precisa modificar nenhuma configuração da Sky Portal.
Já as demais luzes artificiais você simula com a Photometric Free Light.
Você precisa habilitar a sombra dela com Ray Traced Shadows, escolher o tipo de luz no Light Distribution (Type) e depois poderá escolher a forma da luz no Shape/Area Shadows, como mostra a quarta imagem em anexo.
O mais importante de tudo é definir a intensidade com valores realistas das luzes reais, então, como base você pode considerar que 150 Candelas equivalem a uma luz de 100W.
Se colocar valores fora da realidade não vai dar certo, pois a luz vai iluminar de mais ou de menos.
5- Como disse no início, o sombreado refinado tem que ser feito com AO, então, em todos os materiais você vai habilitar o AO no menu Special Effects do material Arch&Design e todos os objetos da cena devem ter materiais Arch&Design.
A configuração do AO depende de cada objeto, mas em todos precisa habilitar a opção Use Color From Other Materials (Exact AO), isso é muito importante.
Depois você pode definir o Samples conforme a importância do objeto que vai receber o material, objetos maiores como paredes, pisos e tetos você usa 32, objetos médios como os móveis você pode usar 24 e nos objetos pequenos pode usar 18 ou 16.
O Max distance é bom deixar em torno de 50 cm em maquete, só no caso de objetos bem pequenos que você pode diminuir para agilizar.
6- A configuração do Render em si é bem simples, basta colocar 1 no Shadow Quality na aba Global Illumination e mudar o Diffuse Bounces, em cenas externas você pode usar 2 ou 3, em cenas internas use entre 4 e 7.
Depois é só entrar na aba Renderer e ajustar o Antialiasing para não ficar serrilhado, usando o método Classic/Raytraced normalmente sempre vai trabalhar com 1 no Min e 4 no Max, as vezes vai usar 1 no Min e 16 no Max se algum material ficar granulado, exagerando vai usar 4 no Min e 16 no Max para casos muito especiais.
Basicamente é só isso, se tiver qualquer dúvida sobre o que eu falei é só dizer que eu explico melhor.
Abração e tudo de bom.
André Vieira