Cara, não existe máquina boa para 3D, por melhor que seja, uma só é pouco pra renderizar imagens gigantes.
Por isso que tem o Distribuited Bucket Render, ai liga várias máquinas em rede pra renderizar imagens grandes.
Dos 4 GB de RAM que vc tem, só 2 GB são usados, porque em 32 bits cada programa só usa 2 GB.
Ai entra o que o Supermax disse, destes 2 GB tem que carregar o Max e a cena 3D, sobra menos de 2 GB pro render.
Coloca 1500 no Memory Limit e tenta renderizar.
Mas tem que habilitar as opções de otimização que ele disse, tem que mudar pra Large BSP e tem que diminuir o bucket de render.
Se a cena for muito pesada, é bom usar o Diagnostic pra configurar melhor o Depth e o Size do Raytrace acceleration.
Mas se não otimizar tudo, materiais, modelagem, configurações, tudo, sempre vai dar pau.
Não pode achar que está com máquina boa e dá pra exagerar, porque não dá.
Em último caso vc pode renderizar pelo Render Passes do Mental Ray, ai vc faz a imagem no tamanho que quiser.
Eu renderizo imagens aqui com 4000 pixels sem o Render Passes numa máquina muito pior do que a sua.