Oi Marcelo, tudo bem?
Eu assino em baixo de tudo que o Eduardo disse, eu teria falado praticamente a mesma coisa, mas acho que não conseguiria ser tão direto e conciso.
O V-Ray é um ótimo render para maquete eletrônica, fez muito sucesso graças a sua facilidade, pois trás tudo o mais mastigado possível para um render do tipo Biased, só renderizadores do tipo Unbiased são mais simples e fáceis de usar do que o V-Ray, como o Maxwell e o Fryrender por exemplo.
Só que o tempo de render destes renderizadores Unbiased é absurdo, não vale a pena, só vale a pena para quem não entende nada de render, não quer entender e quer fazer imagem realista.
Mas tudo que é muito automático também é muito limitado, então, só faz aquilo que tem ali já pronto para você usar.
O Mental Ray está em outra categoria, ele é o melhor render do mundo, foi usado em praticamente todos os filmes que você viu nos cinemas nos últimos 10 anos, todo ano o filme que ganha o Oscar de efeitos visuais foi usado o Mental Ray, e todos os outros concorrentes também.
O Mental Ray só não é usado nos filmes de animação da Pixar, porque eles têm o outro super render que existe no mundo na atualidade, o poderoso Renderman, mas eles são praticamente os únicos que usam, a grande maioria dos estúdios usam o Mental Ray, inclusive a toda poderosa ILM do mestre George Lucas.
Então, nem tem termos de comparação. Posso falar ainda de outros renders que usei por alguns anos, como o Brazil Render, que é ótimo, é melhor do que o V-Ray em muitos aspectos, principalmente em animação, que é onde o V-Ray peca mais, na questão de Cartoon o Brazil Render é incrível.
Ainda tem o Final Render que era muito bom na época do Max 4, mas hoje é cheio de problemas, se queimaram tanto no Max que agora estão se dedicando mais ao pessoal do Maya, porque eles não passaram pelo que os usuários de Max passaram com o Final Render, como eu por exemplo.
Mas em todos estes renders, tudo vem pronto para você usar e só pode fazer aquilo.
No Mental Ray as coisas não vem prontas para você, porque em vez de oferecer recursos prontos ele oferece componentes para montar recursos, dessa forma você pode fazer tudo que imaginar e o que não imaginar também.
Mas falando assim parece que ele é um bicho de 7 cabeças, não é verdade, ele é muito mais fácil de configurar do que o V-Ray na minha opnião, porque no V-Ray todo mundo usa Presets, então, a pessoa não sabe configurar a cena, ela usa uma configuração pré definida, fica bom e gasta o maior tempo de render.
Se fosse configurar cada um dos trocentos parâmetros do V-Ray, não iria conseguir bom resultado.
No Mental Ray não tem preset, no Max 9 tem mas tem que fazer de conta que não tem, porque são poucos parâmetros para configurar, sabendo fazer isso, você sempre consegue o melhor resultado com o menor tempo possível.
O difícil seria então a montagem de materiais, já que não vem nada pronto, mas é ai que entra a Autodesk, pois todos os recursos padrões do Max são convertidos para Shaders do Mental Ray na hora do render, então, não precisa aprender nada diferente nos materiais, basta conhecer os recursos padrões que vai obter cenas realistas.
Em qualquer outro render que for usar, terá que aprender tudo de novo na questão de luzes e materiais, porque todos eles adicionam novas luzes e materiais no Max, você só deve usar esses materiais para evitar problemas e obter os melhores resultados.
No Mental Ray vai precisar conhecer 3 ou 4 Shaders dele para compor com materiais Standard e obter efeitos que seriam impossíveis no render padrão, como metal escovado e vidro jateado, por exemplo, então, eu acho que é mais fácil.
Até este ponto é o que todo renderizador faz, dai para frente o Mental Ray faz coisas que os outros nem sonham, eu poderia ficar horas aqui falando destas coisas para você. A partir deste ponto que é a parte difícil, mas não precisar chegar nisso para fazer tudo e um pouco mais do que os outros fazem.
Agora, a primeira coisa que precisa aprender no Mental Ray é o sistema de Anti-Aliasing, nenhum render profissional é só clicar em render e boa, obtém a imagem com qualidade final igual o Scanline.
Qualquer render profissional tem que configurar um monte de parâmetros e fazer vários testes até obter o resultado final.
O Anti-Aliasing é o primeiro que deve saber, é a primeira coisa que explico no vídeo curso de Mental Ray aqui do site.
Pelo que você disse, eu acho que apenas colocou o Mental Ray como render mas não conhece nenhuma configuração sobre ele.
O Anti-Aliasing fica na ficha Renderer no menu Sampling Quality, você deve colocar 16 no Maximum, mudar o filtro para Mitchell e colocar 0.02 nos valores de RGBA no grupo Contrast, assim, vai renderizar sem serrilhado nenhum com certeza absoluta.
Abraços