Oi Rafael, tudo bem?
Se o problema fosse de peso na cena, era para ou dar erro ou renderizar certo quando retirasse os objetos pesados.
Não aparecer uma parte do cálculo de Final Gather dá a impressão que não tem espaço para guardar as informações do render.
Não basta ter bastante memória RAM, precisa de bastante espaço no Driver C para o render poder trabalhar e no caso de imagens imensas, não deve deixar aberto no Frame Buffer, porque consome muita memória.
A coisa mais importante do mundo é definir um lugar para salvar antes de começar a renderizar, não dá para renderizar no Frame Buffer e deixar para salvar depois de pronto como faz com imagens pequenas.
Ainda tem as opções de otimização na ficha Processing, como o Tirmey disse, também tem a opção Large BSP na ficha Renderer e tem os recursos de Diagnostic para você poder refinar a configuração da cena da melhor forma possível.
A última opção é renderizar pelo Render Passes como o Tirmey disse, mas neste caso nem precisa montar a imagem depois, porque o Mental Ray monta sozinho para você.
Abraços