Oi Alfredo, tudo bem?
Muitas coisas podem causar isso.
Você já renderizou antes com o V-Ray, ou é a primeira cena pra valer?
Se os parâmetros de configuração do render estão exagerados, o que é comum quando está iniciando, vai exigir muito mais do sistema e pode não renderizar em grande formato.
Seja como for, 1 GB de RAM certamente é pouco, é o mínimo aceitável para trabalhar, para cenas complexas precisa de mais.
Fora as configurações do render, tudo precisa estar otimizado para não gastar nada além do necessário, por isso perguntei se é o primeiro projeto.
Se não tiver memória e espaço disponível no driver C, vai ter problemas, a primeira coisa que eu faria era aumentar o espaço no driver C, caso tivesse certeza que tudo na cena e no render estava configurado corretamente.
Levando em conta que o Max está atualizado como o Juliano disse, seja o Max 9 ou o Max 8, que deve estar com o SP 3 instalado.
Pela sua última mensagem é falta de memória.
Abraços