Olá biohard, tudo bem?
Leia esse topico:
http://www.tresd1.com.br/viewtopic.php?t=28740&highlight=&sid=f8ffc6051c706462bad027a0c8eeed64
Tinha um topico muito bom na Archpro, mas parece q o site tah fora do ar.
Vou dar um exemplo que eu fiz na minha máquina. Posso adiantar que meus problemas acabaram.
Mas se der algum problema na sua máquina eu não me responsabiliso. É só uma dica. Eu fiz aqui e deu certo.
Qdo vc ligar a sua máquina vai aparecer duas opções no boot. Use a linha 3GB qdo vc for renderizar algo em alta.
Outro lance é a configuração na aba System do vray. Principalmente qdo vc estiver usando muito proxies, segue exemplo abaixo. No meu caso eu costumo usar 600mb no Dynamic memory limit. No seu caso que tem 4gb de ram vc poder setar 2000mb.
Espero ter ajudado.