Bom dia João Carlos Souza, tudo bem?
Primeiramente devo parabenizar pela cena, está muito boa mesmo, bem modelada e creio que a iluminação esteja também muito boa, só faltam às texturas e também quem sabe um horizonte para a imagem não acabar no infinito.
Seu problema de fechar o Max assim que renderiza é memória. Quinhentos e doze MB de memória é muito pouco para o VRay, pois está com o displacement aplicado, e é um recurso que consome muita memória, as árvores também tem muitos detalhes em suas folhagens. Para resolver esse problema você terá que diminuir a qualidade da imagem na iluminação Global e também o displacement do detalhado.
Experimente colocar displacemente apenas no Material, fiz umas pesquisas e alguns testes e cheguei à conclusão de que para o VRay, aplicar displacement no material, fica mais rápido até mesmo no render. Se mesmo assim, ainda não for o suficiente e não resolver o seu problema, o único modo é renderizar em partes a imagem e depois “soldá-las ou emendá-las” no Photoshop.
Quanto ao 3ds Max, o fato de ele fechar simplesmente do nada, quando o VRay chega ao limite de memória, é comum. Aqui no escritório, tenho um computador com dois GB de RAM e fecha mais do que porta de geladeira em cenas pesadas. O Mental Ray nesse caso é um pouco mais educado, ele dá uma mensagem de erro e ainda tenta salvar o arquivo para você não o perde, só que 20% das vezes ele não dá conta de salvar.
Abraços.
Jonathan Matthies.
http://www.sfs-studio.com.br