vbricio, não adianta nada ter 3 GB de RAM no windows 32 bits, porque cada programa só usa 2 GB.
E mesmo que tivesse 16 GB, 3D é pesado, dependendo da cena vai ter problema pra renderizar mesmo que seja no melhor PC do mundo.
Em 3D tem que saber modelar bem pra otimizar ao máximo os modelos, tem que saber criar materiais bons e otimizados pra não pesar no render, e tem que dominar bem o render que usa pra otimizar ao máximo as configurações e não ter problema na hora de renderizar.
Mas dependendo da cena e da máquina, por mais que otimize não vai ter como renderizar de uma vez só.
Ai vc usa o render passes do Mental Ray pra renderizar em partes.
A outra opção é colocar vários PCs bons em rede para renderizar, é o que chamam de renderfarm