Oi Fabio, tudo bem?
Não é porque um render consegue renderizar que outro também vai conseguir, pois muda muito a forma de gerenciar a memória de um render para o outro.
O Mental Ray tem diversos recursos para permitir o render de cenas complexas em máquinas mais fracas, e mesmo que não tivesse, ele trabalha muito melhor com a memória.
Um problema que pode acontecer além da quantidade de geometria, é o tamanho e a quantidade de texturas, o Mental Ray oferece um recurso de Proxy para texturas também, o que permite usar imagens imensas com dezenas de GBs sem ocupar nem um único KB na memória, porque em cinema precisa muito de texturas em altíssimas resoluções, o V-Ray dá problema com texturas muito grandes, isso já mostra a diferença no gerenciamento de memória entre os dois.
A primeira tentativa que eu faria no V-Ray seria diminuir o tamanho do bucket de render, supondo-se que o usuário domina bem as configurações do render e não exagerou em nada, pode ser que com um bucket menor ele renderize sem dar erro de memória.
Abraços