Olá artmultimidia, eu trabalho com o mental ray já faz algum tempo e já tive muitos problemas desse tipo.
O Mental Ray é um render de altíssima qualidade, mas posso afirmar que ele usa muito mais memoria do que qq outro render, quando eu trabalhava com o Vray, dificilmente eu tinha problemas de memoria, só consegui resolver esse problema do MR vs. Memoria com um sistema de 64bits, pode ser o XP, Vista ou o Win7, mas tem q ser 64bits e claro, com pelo menos 4GB de memoria e também um bom conhecimento das configurações pra não exagerar e ter problemas com tempo de render.
Eu já fiz alguns testes e um deles bem curioso é que um C2Q com 4GB de memoria e windows 32bits, nao renderizava uma cena um pouco complexa, enquanto que um C2D com 3GB renderizou na boa, mas rodando o XP 64bits, isso pq 32bits é bem limitado na questão de gerenciamento de memoria.
Mas o curioso é que quem sofre mais com essa limitação de 32bits é o Mental Ray, pq eu já renderizei uma cena muito grande e com resolução alta no Maxwell e foi na boa... é claro, demorou pacas.. mas renderizou.. isso num Windows XP 32bits com 3GB de memoria, já a mesma cena no mental ray usando o xp 32bits, pode esquecer q nao renderiza.
Aqui tem algumas dicas boas de como preparar seu sistema pra renderizar sem problemas.
http://www.tresd1.com.br/viewtopic.php?t=35512&highlight=render+60+milhoes+de+poligonos
Não se esqueça de uma coisa, mais vale investir em conhecimento do que equipamento pra poder trabalhar, então procure estudar o MR que dificilmente vc terá algum problema com ele.
Abraços.