Olá XCHANGE!
Olha, eu não estou estudando o Mental Ray ainda, mas eu sei que o antialiasing dele é o Sampling Quality da aba Renderer, lá vc vai encontrar o Samples per pixel, mas eu nem vou me atrever a te dizer qual seria a melhor configuração pro teu caso, mas acho que o caminho é vc dar uma olhada básica no help (f1) do max no subtítulo "antialiasing"... lá vc escolhe a opção mental ray, daí vc vai encontrar o que procura... Tb tem o pessoal muito mais experiente do que eu aqui q pode facilmente te ajudar, é só esperar um pouco que sua resposta aparece!
*Eu estava dando uma busca pelo fórum e encontrei isso:
http://www.3d1.com.br/forum/phpforum/viewtopic.php?t=13476
Lá tem umas configs do mr que o André recomenda pra vc tirar o serrilhado...
Espero ter ajudado em algo.
Abraços!