Oi Thiago, tudo bem?
Eu sinto discordar do Caio sobre comprar mais 2 GB de RAM, porque não vai fazer a menor diferença se você usa um sistema de 32 bits, já que sistemas de 32 bits por padrão só liberam 2 GB de RAM para cada aplicativo, pode liberar até 3 GB se editar o boot.ini, mas isso pode deixar o sistema instável.
Portanto, é impossível que o Max, o Mental Ray ou qualquer outro programa use 4 GB de RAM em qualquer windows de 32 bits.
Como sempre falo aqui, vale mais a pena investir em conhecimento do que em equipamento, porque conhecendo bem você renderiza até com 512 de RAM.
Com 2 GB de RAM você pode renderizar imagens grandes e com muita geometria sem problema, porque a ILM fez todos os filmes usando 32 bits, apenas em Transformers que usaram 64 bits.
O Mental Ray oferece muitos recursos de otimização e se tudo não der certo, ainda pode renderizar em Passes ou Elements, assim, mesmo que tivesse só 512 MB de RAM iria renderizar sem problema, claro que vai demorar muito, mas vai renderizar.
Habilite as opções que o Caio disse
Use Mental Ray Map Manager, Use Placeholder Objects e Conserve Memory.
Se você tem 2 GB de RAM, então, o valor que deve ser colocado no Memory Limite é 3000.
Depois, acessa a ficha Renderer e mude para Large BSP na lista RayTrace Acceleration.
O ideal é configurar corretamente o Size e o Depth de acordo com a sua cena, se você tem o vídeo curso de Mental Ray da 3D1, eu explico detalhadamente como configurar estes parâmetros e serão muito importantes para o desempenho desta cena, eles dependem de testes para encontrar o valor correto. Isso é feito pelo Diagnostic, que eu também explico no vídeo curso de Mental Ray. Com o Diagnostic você consegue saber precisamente o que está prejudicando a cena.
Logo abaixo, diminua para 4 nos 3 valores do Trace Depth, eles vêm com 6 em cada.
Coloque 4 no Max Depth, Max Reflections e Max Refractions.
Faça isso também no Trace Depth que tem na ficha Indirect Illumination.
Ainda na ficha Renderer, diminua o tamanho do Bucket para 12, ele vem com 48 por padrão.
Por acaso você tem Displacement na cena?
Se tiver, pode ser ele que está prejudicando, porque gasta muita memória fazer o Displacement subdividir muito o objeto. É melhor aplicar um Mesh Smooth no objeto e diminuir a quantidade de subdivisões nas configurações do Displacement.
Tente renderizar com estas configurações, que é a forma mais simples de resolver.
Se não renderizar mesmo assim, posta aqui de novo que a gente explica coisas mais avançadas para solucionar o problema.
Fora o Render Passes e o Render Elements, você ainda pode usar Shaders para controlar o Final Gather e o AA individualmente nos objetos, então, pode deixar o FG menos detalhado nas árvores.
Sem falar em transformar os objetos em primitivas do Mental Ray e as texturas em mapas do Mental Ray.
Abraços