Oi Kaki, tudo bem?
Eu nunca vi acontecer isso.
A Mensagem de erro do Mental Ray quando abre um arquivo contendo Shaders que não estão instalados ou arquivos criados em versões anteriores é normal, não afeta nada, mas é bom salvar na versão nova e no caso dos Shaders, precisa instalar eles e abrir a cena novamente.
Agora, se não fez nada disso, se é uma cena simples com materiais normais e tal, não era para acontecer isso.
Porque se você usar um recurso que o Mental Ray não reconhece dentro do Max, que são raros, ele simplesmente descarta e não renderiza, ou renderiza preto.
Se aplicar sombras que ele não aceita, como Shadow Map, Area Shadow e Advanced RayTrace, ele vai dar mensagem de erro na hora do render, mas não vai fechar, vai renderizar as sombras como se fossem Ray Trace comum.
Pode ter dado algum problema no seu arquivo num salvamento, sei lá.
Tenta fazer o seguinte:
Abra uma cena nova zerada, vai no File > Merge e seleciona o arquivo.
Vai abrir uma lista com tudo que tinha no seu arquivo, seleciona tudo e dá OK, se aparece alguma mensagem, dá OK e boa.
Vai cair tudo nessa cena nova, grava com outro nome e tenta renderizar.
Abraços