Oi Mandinha, tudo bem?
Se você renderiza com o Mental Ray, então, use o recurso de Render Passes que assim vai conseguir renderizar a cena no tamanho que quiser sem problema.
Pode demorar, mas vai renderizar de qualquer tamanho que quiser e não vai precisar compor depois em programa nenhum, a imagem já sai pronta no tamanho que definiu.
Sobre a quantidade de memória RAM comentada pelo Eriert, os programas 3D evoluiram muito mais do que os computadores, não existe computador bom para 3D, seja qual for.
Eu trabalhava com uma máquina de 50 mil reais numa emissora de TV e não dava conta, precisava de outras 4 iguais e mais vários PCs menores para renderizar.
2GB de RAM é usado em sistemas caseiros de 3D, em estações gráficas profissionais em sistema de 64 bits, começa com 2 GB de RAM, o normal é ter muito mais.
De qualquer forma, o equipamento não é o mais importante, quem conhece bem o Max renderiza a cena que quiser mesmo num PC modesto, existem muitos recursos de otimização, o usuário tem que conhecer bem o programa para não gastar nada além do necessário.
Normalmente quando dá erro de RAM é porque a cena está mais exagerada do que deveria.
Abraços