Oi NewEmpire, tudo bem?
No artigo sobre Mental Ray que escrevi para a Digital Designer 76, que deve sair lá para setembro, eu falo um pouco sobre isso.
O Mental Ray é um render cheio de macetes, mesmo tendo muita memória você pode fazer ele dar Out Of Memory, dependendo da forma que configurou a cena, os materiais, a iluminação e as setagens do render.
Não é como no render padrão, que você manda renderizar e sai numa boa.
Em qualquer renderizador profissional tem que fazer diversas configurações, diversos testes, até chegar no melhor resultado com o menor tempo de render, poupando ao máximo os recursos do sistema.
Neste artigo eu comento que, dependendo da forma que fizer a cena, o Mental Ray até aceita renderizar, mas leva muito mais tempo, ou até dá Out of Memory como aconteceu com você.
Precisa estudar bastante os procedimentos e as técnicas empregadas neste renderizador para poder obter o melhor resultado com o menor tempo de render e sem comprometer os recursos do sistema.
Agora, vale lembrar que precisa ter no mínimo 512 MB de RAM para usar o Mental Ray, o indicado é 1 GB, o ideal é 2 GB.
Abraços