Oi Luiz, tudo bem?
É muito diferente um render no Scanline e no Mental Ray, tanto em qualidade quando nos recursos usados pelo sistema.
Se você desligar todos os efeitos e usar o Mental Ray como o Scanline, não vai dar problema igual não dá no Scanline.
O Mental Ray não dá pau no render nunca, a não ser que não tenha recursos para fazer a cena como a pessoa definiu, mas ai a culpa não é do Mental Ray, é da máquina ou da pessoa.
Por isso que tem os recursos de otimização e em última instância tem o Render Passes que o Supermax indicou, com ele tem que renderizar nem que seja necessário dividir em muitas partes.
Mas a melhor opção é usar o Distribuited Bucket Render com mais PCs na rede se tiver que renderizar imagens imensas, porque com GI é complicado renderizar imagens com 5000 pixels, assim tem mais memória para trabalhar.
Só que eu acho estranho dar pau numa cena com 800 mil faces, porque não está muito exagerado, está dentro do normal, não para renderizar com 5000 pixels porque isso é para workstation, mas está bom para renderizar até um A4.
Tem que ver o que está prejudicando a cena, objetos muito densos sem necessidade são um desperdício e causam problema, não sei se é o caso desta vegetação, mas objetos da Evermotion são complicados de usar sem otimização.
3D não foi feito para impressão em gande formato, então, não é qualquer computador que vai renderizar imagens com 5000 pixels usando GI e materiais complexos sem a cena ser perfeitamente otimizada e as vezes tem que renderizar em Passes mesmo.
Para gerar cenas deste tamanho num ambiente profissional precisa de mais máquinas, caso contrário se torna inviável, porque dá para renderizar usando o Render Passes e os recursos de otimização, mas demora muito mais e dá trabalho.
O Distribuited Bucket Render do Mental Ray é muito bom e ideal para este tipo de trabalho, com uma máquina só é penoso renderizar com 5000 pixels usando qualquer render com GI, porque está exigindo muito mais do que a máquina aceita.
Não tem como comparar com o Scanline nenhum render com GI, só se for com o Light Tracer por exemplo, ai dá para comprar, tenta fazer com o Light Tracer usando Displacement e tudo mais também e me fala, pode não dar erro de memória, mas vai levar anos renderizando.
E tem outro detalhe que eu lembrei também, quem muda o boot.ini para usar 3GB de RAM tem um monte de problemas estranhos, se você fez isso na sua máquina volte ao normal, porque você tem muitos problemas estranhos.
Abraços