Oi Francisco, tudo bem?
O Anti-Aliasing do Mental Ray é um sistema super robusto, ele tem muitos macetes.
Basicamente basta aumentar o Maximum Samples para a cena ficar suave, e não apenas modificar o filtro, como o Vympel te indicou muito bem.
Aumentar o valor do Width e do Height do filtro não retira o serrilhado, deixa a imagem mais borrada, use o Michell com 4 mesmo.
Mas ainda tem muitos outros detalhes, pois apenas aumentando os Samples, normalmente você disperdiça tempo de render sem necessidade, é muito importante ajustar a sensibilidade do sistema de Anti-Aliassing para conseguir o melhor resultado no menor tempo possível.
Isso é difícil de explicar numa mensagem de fórum, mas está explicado detalhadamente no vídeo curso da 3D1.
Abraços