Oi Ercules, tudo bem?
O Mental Ray não vai entender alguns recursos de G-Buffer do Max, porque os efeitos de Video Post são processados pelo Scanline, o Mental Ray não faz nada depois do Render se não tiver um Shader no Slot Output.
Então, o Mental Ray renderiza a cena e devolve para o Scanline gerar o efeito de Vídeo Post, só que o Mental Ray não vai construir todos os canais que o Vídeo Post do Max precisa para criar o efeito.
O efeito será renderizado sem problema, porque quem faz é o Scanline, mas pode acontecer alguns defeitos na mesclagem do efeito com a imagem renderizada, por não ter todos os canais.
Isso é uma coisa que a Autodesk não se preocupou até agora porque o normal é sempre renderizar os efeitos de Vídeo Post separados, como o Múcio disse.
Mesmo em imagem estática pode não ficar bom renderizando direto pelo Video Post, mas em animação é quase impossível de ficar certo.
Pode até fazer um teste simples, animando uma esfera se afastando da câmera, o Glow não diminui corretamente com a distância e ainda some de uma hora para outra quando o objeto fica muito pequeno.
Isso é só para dar um exemplo.
Quando você renderiza o efeito separado e faz a composição com a imagem renderizada, seja no PhotoShop, Combustion After Effects ou qualquer outro programa de composição, estes problemas de Vídeo Post não aparecem, porque você tem controle sobre tudo..
Tente renderizar separado e compor depois, se tiver qualquer problema ou dúvida neste processo, posta aqui que a gente te ajuda.
Porque aprendendo dessa forma você vai fazer sempre da forma profissional e nunca terá os problemas que o pessoal tem quando renderiza direto pelo Vídeo Post.
Abraços