Oi Broks, tudo bem?
O Max 9 é um fiasco em todos os sentidos, eu não uso ele, então, não posso te falar que comigo também acontece, mas no Max 8 isso nunca me aconteceu.
Agora, se o problema for porque o Max 9 consome muita memória ou porque a cena está muito pesada, tem diversas formas de resolver.
Fora o Conserve Memory, o Placeholder, o Texture Manager e tudo mais, ainda pode diminuir o tamanho do Bucket de render e pode mudar o Raytrace para Large BSP, no caso da cena ser muito grande.
Se nada funcionar, ainda pode usar o recurso de Render Passes, que eu indiquei para o Maxtx, porque ai renderiza até num 386.
Você tem o vídeo curso de Mental Ray do site, não tem? Nele eu explico como usar o Render Passes.
E se o problema for de consumo do Max mesmo, então, renderiza pela linha de comando, assim, o Max nem será aberto.
Abraços