Oi gente, tudo bem?
É verdade sobre a questão da memória, eu esqueci de mencionar isso, é importante definir o valor correto de memória que o Mental Ray pode usar, o valor deve ser 1.5 vezes o que tem de memória física na máquina.
Outra coisa muito importante é ter bastante espaço no C, mesmo quando o Max está instalado em outra unidade, como eu uso aqui no Drive D, porque mesmo assim o Max usa um bom espaço na unidade C na hora do render.
Agora, sobre a edição do Boot.ini não está correto.
Num sistema Windows de 32 bits, o sistema libera no máximo 2 GB de RAM por aplicativo, não apenas 1 GB.
Você pode editar o arquivo Boot.ini para ele liberar 3 GB, que é o máximo aceito pelo sistema, só que isso pode causar problemas de instabilidade dependendo da versão do sistema operacional Windows que estiver usando e até do seu PC.
Em alguns casos vai bem, em outros não e deixa o sistema instável.
E sobre a gambiarra proposta pelo Liezao, pelo amor de Deus, não precisa fazer isso de forma alguma em nenhum render, porque bastaria usar o Region do Max.
E no Mental Ray muito menos ainda, porque o Mental Ray oferece um recurso próprio para fazer isso como o Zulmar explicou muito bem e como eu explico no vídeo curso de Mental Ray da 3D1.
Abraços