pessoal existem 2 coisas q vcs precisam observar
1º se o seu sistema for 32 bits vc nunca vai conseguir utilizar mais do que 2GB (o windows vê 3,5GB porém endereça no maximo 2gb por programa)
2º caso seu sistema seja 64 bits (tanto windows quanto max) apertando a tecla F10 na aba "renderer" vc aloca o tanto de memoria q o mental ray vai usar, inicialmente estarah setado para 600MB (vc pode colocar inclusive mais do q sua memoria pq aqui conta também memoria virtual)
depois desses dois detalhes tem q se observar q o sistema usará o necessario no momento, não adianta falar "ai meu deus ele tah usando soh 300mb de memoria" se estah usando somente isso eh pq soh estah precisando disso mesmo pq se lah na aba render estiver setado para 10Gb por exemplo pode ter certeza q se for necessario ele usará isso
é quenem o processamento dos nucleos, pode reparar q as vezes ele usa 50% de cada nucleo ao inves de 100% dos dois, isso não significa q ele não esteja funcionando direito ou desajustado, eh simplesmente q ele não precisa de 100% no momento0
espero ter esclarecido vcs
grande abraço