Oi gente, tudo bem?
Eu creio que o problema é causado pelos dois fatores que os amigos comentaram, não é apenas um ou apenas outro, são os dois juntos.
O Antialiasing em cenas de teste deixa a imagem mais serrilhada e perde pequenos detalhes, mas não vale a pena aumentar no render de teste, apenas no render final.
Se quiser testar para ter certeza, basta aumentar o Antialiasing para 16 e fazer um render, os detalhes pequenos ficarão mais visíveis.
Agoa, numa cena sem textura o sombreamento é muito importante, porque é apenas pelo sombreamento que você define as saliências e a geometria do modelo.
Portanto, mesmo com um bom Antialiasing, alguns detalhes podem ficar escondidos por não terem sido sombreados, deixando chapado no local.
Isso é ajustado pelo Radius do Final Gather, pois é o Final Gather que controla o sombreamento da iluminação global.
No vídeo curso de Mental Ray da 3D1 eu mostro visualmente o efeito do Radius no Final Gather, com raios grandes perde definição no sombreamento e com raio pequeno demais cria manchas granuladas.
Com o raio ideal o sombreamento fica perfeito e o valor do raio ideal depende da cena.
No Max 9 tem um novo método de interpolação do Radius feito para iniciantes, pois uma das coisas mais difíceis do pessoal pegar o jeito é o ajuste do Radius.
Mas este sistema novo de interpolação é muito ruim, não permite o ajuste fino como o método do Radius permite, por isso que é melhor configurar da forma "antiga" como eu mostro no curso, apesar de mostrar também como fazer com o recurso novo a partir do Max 9.
Usando o Radius tem controle total sobre o sombreamento do Final Gather, com poucos testes dá para encontrar o Radius ideal.
Abraços