Oi Daniel, tudo bem?
O Max não foi feito para gerar imagens imensas para impressão, o Max foi feito para vídeo, onde a resolução é 720x480 pixels.
Só no Max 6 que colocaram o Pint Size, já que muita gente da área de arquitetura passou a usar o programa para este fim.
Antigamente tinha que fazer o cálculo "na mão" para saber a quantidade de pixels que seria necessário para renderizar para impressão, normalmente são mais de 3000 pixels, o que torna o render muito demorado e consome todos os recursos do sistema.
Se a máquina não tiver muita memória RAM, vai ficar difícil mesmo de renderizar, porque o programa tem que calcular uma imagem imensa.
O ideal é ter 2 GB de RAM, mas dá para trabalhar com 1 GB, menos é inviável.
Na verdade o ideal é ter vários PCs bons em rede para renderizar, assim, terá o render num tempo economicamente viável.
Mas conhecendo um pouco do Mental Ray, você consegue renderizar até num Pentium 100 com 256 MB de RAM, apesar de levar muito tempo.
No vídeo curso de Mental Ray da 3D1 eu explico os macetes para conseguir isso.
Vou te dar algumas dicas aqui que vão permitir que você renderize a imagem sem dar erro de memória, mas vai ficar mais lento o render, obviamente.
Entra na janela Processing e habilite as opções Use Placeholder Objects, Use Mental Ray Map Manager e Conserve Memory.
No campo Memory Limite coloque 1 vez e meia a quantidade de RAM que tem instalada na máquina, então, se tiver 1 GB de RAM, coloque 1500 no campo Memory Limit.
Entra na janela Renderer e diminui o Bucket Width para 24, nesta mesma janela, diminua o Trace Depth, o Max Refractions e o Max Reflections para 4.
Na lista Raytrace Acceleration, mude de BSP para Large BSP.
Tente renderizar com estas configurações, não deve dar mais erro de memória, mas o render vai levar um bom tempo.
Abraços