Rafael,
Com Windows 32bits, ele só enxerga, no máximo, 4Gb de RAM. A imagem que vc está querendo gerar é grande. Ela realmente precisa ser desse tamanho?Pois em casos de banner, por exemplo, dependendo da distância que for visto, ele pode ser menor e impresso maior. Os pontos vão dar uma estourada, mas como eu disse, dependendo da diatância, não terá problema. É o princípio dos outdoors. Converse com alguém da gráfica que vc está trabalhando.
Caso vc realmente precise gerar a imagem desse tamanho, divida em partes, com o render Crop, por exemplo e depois monte no Photoshop. Ou use o recurso do MR para isso (estou sem o Max no momento). Normalmente, faço com crop mesmo.
Abração,