Faz o que o LG falou que é a melhor solução, mesmo que paliativa, até que você compre mais memórias. Outra coisa, seu sistema é 64 ou 32 bits? Se for 32, a sua memória virtual máxima será de 4GB ou 4096MB. Mude também o bucket de render, se for no Mental Ray deve estar 48x48, passe para 24x24 ou 16x16, isto economiza memória também.
Uma solução que estou utilizando que me dá um ganho de algumas horas de render, as vezes, e não está afetando a qualidade é a interpolação de imagens, eu renderizo menor do que a imagem iria ser e depois interpolo no Photoshop.
Por exemplo se eu quisesse imprimir uma imagem em qualidade fotográfica em um laboratório e a dimensão seria 30x20cm, para eu renderizar esta imagem com 300 DPIs, eu teria que ter uma saida de render de 3543x2362 pixels. Porém eu renderizando em 2000x1333 que é a mesma proporção (1,5) (não esqueça de travar a proporção do Image Aspect) e depois interpolando no Photoshop, chego a quase a mesma qualidade da imagem renderizada no tamanho ideal. Consome menos memória e menos tempo de render também.
É bem fácil, até criei uma action só para isto.
- Você abre o Image Size (Crtl+Alt+I).
- Lá em baixo mude para Bicubic Smoother (best for enlargement) [é este filtro que faz a interpolação correta para ampliação)
- Depois em Width ou Height você muda de CM para PERCENT.
- Vai aparecer 100 no valor, você muda para 110 (que é 110%) e vai repetindo isto até chegar no tamanho que você deseja.
- Os 3 quadradinhos lá embaixo mantenha-os todos selecionados.
É assim que transformam fotos tiradas com 8MP em fotos gigantescas, com mais de metros de alturas.
Mas lembre-se sempre salve seus arquivos em TIFF com 300dpi para que tenhas a melhor qualidade.