Oi vbricio!
Primeiramente, gostaria de te falar que o nome do render é Mental Ray, não Metal Ray. É um erro muito comum, não se preocupe não. ;)
Quanto a sua cena, ela está legal, mas pode ser melhorada. Acho que so você detalhasse mais ela ficaria melhor.
De maneira geral, sem dedicação qualquer render é muito complicado. Mas se você estudar, estudar, estudar e estudar o Mental Ray vira facinho, facinho. Recomendo a você ler os tutoriais aqui da 3D1 sobre ele.
Quanto ao serrilhado, isso se deve a baixa qualidade do AntiAliasing (ou AA). Como têm muitos parâmetros nele, vou postar aqui um link de um vídeo feito pelo André (administrador do site) que faz parte do CD dele sobre Mental Ray, que é MUITO bom.
Link: http://www.tresd1.com.br/conteudonoticias.php?t=24716
Ele explica detalhadamente e metodicamente todos os parâmetros do AA.
Espero ter ajudado.
Abraços.