Oi Paulo, tudo bem?
Nenhum programa no Windows 32 bits usa mais do que 2 GB, editando o arquivo Boot.ini do Windows pode permitir que o programa use até 3 GB, mas isso pode também deixar a máquina instável, portanto, term 4 GB não adianta nada, 3 GB será o máximo que o render poderá usar.
Agora, o problema é estranho e depende do render que estiver usando.
Se for o Scanline, então, tem muitas luzes Raytrace na cena ou muitos materiais com Raytrace, como o Leandro disse.
Se for o Mental Ray, é mais estranho ainda, tente habilitar as opções de otimização na ficha Processing para ver se não aparece mais o erro.
Também é importante mudar para Large BSP na janela Renderer se a cena tiver muita geometria.
O 3ds max precisa de muito espaço no Driver C para renderizar, portanto, se não tiver espaço no Driver C, não adianta ter bastante memória, aumente o espaço no Driver C.
Abraços