Oi Isaias, tudo bem?
Imagine o seguinte, no render padrão, o Scanline, quando a luz encontra um objeto, ela para ali.
Por isso a cena fica com aquela cara de 3D do século passado.
Usando técnicas de iluminação você consegue melhorar muito, mas algumas coisas são impossíveis de reproduzir com essas técnicas e depende de muita habilidade para ficar bom.
Usando o Mental Ray, a luz emitida vai ricochetear pelos objetos, igual acontece na realidade, e vai ajudar a iluminar a cena, deixando mais realista.
Mas para isso você precisa fazer diversas configurações e testes até ajustar a cena perfeitamente, pois esse cálculo é muito pesado, então, não pode tuchar no último e deixar renderizando, vai levar dias.
Então, a gente testa até chegar nos menores valores possíveis sem perder a qualidade, para ganhar tempo de render.
O Mental Ray ainda permite criar efeitos de materiais, de ambiente, de câmera, de Volume, e de tudo que existe hoje em dia de mais avançado em render 3D.
Só que depende de estudar bem o render para poder fazer tudo isso.
O básico é simples, com pouco conhecimento você poderá criar cenas realistas em GI e materiais impossíveis de serem criados no Scanline.
Segue as dicas do Feitosa, pois não poderiam ser melhores, leia os tutoriais na ordem que ele te passou.
Só pula o do Mental Ray na área de Plug-in, pois é da versão para antes do Max 6, quando o Mental Ray era um plug-in e não vinha junto com o Max.
Abraços