Oi Tetsuya, tudo bem?
Realmente é estranho dar esta mensagem, porque está falando que não consegue alocar mais de 2 GB de RAM.
Seria normal num sistema de 32 bits, mas se está trabalhando numa máquina com 4 GB em 64 bits, isso não era para acontecer.
Se tem 4 GB e está num sistema 32 bits vai dar o erro da mesma forma, porque 2 GB de RAM da sua máquina nem estão sendo usados, já que cada aplicativo só pode usar até 2 GB em 32 bits.
Tem como editar o boot.ini para aceitar até 3 GB por aplicativo, mas não é boa idéia fazer isso, deixa o sistema instável, vai dar mais pau do que o normal.
Eu concordo com as dicas do Supermax, além de habilitar as opções de otimização na ficha Processing, também deve mudar para Large BSP e diminuir o tamanho do bucket de render.
Numa cena pessada é bom usar o Diagnostic para ajudar a configurar, assim, não vai gastar nada além do necessário.
Veja no vídeo curso que eu explico como usar o Diagnostic para ver o Size e o Depth do Raytrace Acceleration, com isso você pode ajustar melhor o desempenho do render.
Em último caso, use o Render Passes para renderizar em partes.
Abraços