Ai complica cara, não é só ligar o mental ray e mandar renderizar que fica real.
Depende de configurar o render, depende de criar materiais realistas com os recursos do mental ray, depende de fazer uma iluminação realista.
Não tem um botão que vc clica e fica real.
O mental ray só calcula a luz e os materiais que vc colocou na cena, se a luz e os materiais não estão realistas, a imagem não vai ficar realista.
Mas mesmo tendo uma boa luz e bons materiais, ainda tem que configurar os efeitos de GI e Final Gather do Mental Ray até acertar na cena e ficar legal, são estes efeitos que deixam a cena mais real.
Nesta página tem um monte de tutoriais de Mental Ray, começa lendo pela "parte1" e segue na ordem: http://www.tresd1.com.br/artigos.php?t=14681
Se quiser aprender legal o mental ray eu indico o curso aqui do site, eu não sabia nada de mental ray e aprendi com este curso, hoje estou super satisfeito com os resultados que consigo