Oi Marco, tudo bem?
São várias as possibilidades e ainda tem a questão de otimização do Mental Ray, agora você tem o vídeo curso e já sabe essa parte.
Se você ligar o Use Placeholder Objects, os objetos só serão enviados para o render conforme a necessidade, ou seja, só vai enviar para a memória os objetos que aparecem no Bucket de render, então, não vai pesar mesmo que tenha muitos.
Ainda pode ligar o Conserve Memory, usar o Mental Ray Map Manager, na mesma ficha Processing, e também pode ajustar melhor os recursos do Raytrace Acceleration, ajustando melhor o Size e o Depth do BSP. Também pode trocar para Large BSP em vez de BSP.
Só com estas coisas já é possível renderizar sem problemas e sem ter que usar Shaders de terceiros, se ainda não der, pode usar o Render Passes, também explicado no vídeo curso.
Agora, usando Shaders tem muitas opções, uma delas é o Is MI Object, com ele você pode controlar o AA e o mapa de FG individualmente em cada objeto.
Também em o CTRL Rays e o Ray Type, que permitem controlar diversos aspectos do render individualmente, então, poderia controlar GI, FG, Eye Rays, AA e vários outros atributos individualmente em cada objeto.
Dessa forma, você poderia fazer os objetos mais distantes serem renderizados com menos GI e menos FG, com menos AA, assim, ganharia muito tempo de render.
Abraços