Bem vindo a falta de memória ram. Tenta reiniciar o max e tentar outra vez, se não resolver tenta reiniciar o pc e tentar o render de novo, se ainda não resolver tenta renderizar o frame em rede com o sistema do vray. Se ainda assim não resolver, ai vc tem 2 opções ou tenta renderizar em um pc bem mais forte ou renderiza por pedaços e compõe no photoshop.
Quais os motivos de isso estar acontecendo?
> Cena com muitos poligonos - Solução: converte os objetos mais pesados em vray mesh.
> Texturas muito grandes - Solução: texturas gigantescas acima de 1000 px já começão a ficar pesadas demais para que o software carregue no cache, e se vc tiver muitas texturas na cena e todas grande ai ferra mesmo, então diminui as texturas. As que estiverem longe e forem aparecer pequenas sem muitos detalhes, diminui no ps e deixa elas com uns 500 px, dependendo da situação podem ficar até menores. As texturas que forem ficar próximas deixa em 800 px.
> Displacement com muita definição e muitos objetos com displacement na cena - Solução: os objetos que estiverem mais longe deixar com um definição menor. Quando esse displcement for para fazer grama tente substituir por vray fur (eu não vou te dar certeza mais eu tenho a impressão de que fica bem mais leve e tb já tive problemas com isso em render, fiz a troca de deu certo).
> Configurações de render muito altas - Solução: imagens still não precisam ter configurações de render altas, existem alguns parâmetros que se estiverem mais altos vão dar um definição mais bacana a cena, mas nem sempre isso é perceptível, portanto da pra baixar a configuração. Duvidas sobre configuração dos parâmetros de render > http://www.spot3d.com/vray/help/150R1/index.htm