Oi Liezao, tudo bem?
O problema não é de Antialiasing, mas a primeira coisa que deveria aprender no Mental Ray é o sistema de Antialiasing, e a primeira coisa que eu explico no vídeo curso de Mental Ray aqui da 3D1, porque é muito importante para o resto do aprendizado, caso contrário, vai apanhar com problemas que não precisava.
O problema na sua cena é outro, é a configuração de GI e FG, com certeza absoluta.
Se usou Photons, que seria o correto numa cena como essa, então, o mapa de Photons está errado com certeza absoluta.
A coisa mais importante do mundo é ajustar corretamente o mapa de Photons, com ele bem configurado, será fácil suavizar com o Final Gather e poderá usar baixo samples para obter bom resultado.
Agora, se está usando apenas Final Gather, não é adequado para cenas internas, a não ser que seja para maquete eletrônica, mesmo assim é melhor usar Photons sempre.
No caso de estar só com o Final Gather, então, certamente está com o Radius errado e poucos Samples.
Abraços