o problema não é no mental ray ou no 3ds max em si. o problema está no windows que dificilmente larga as memorias depois que elas são desocupadas pelos programas que estavam abertoe e agora fechados, então então por um processo que ocorrera no pc e agora finalizado. O windows tem esse problema chato. le custa disponibilizar as memorias, mesmo vendo do gerenciador de tarefas que estão sem uso. É exatamente por causa disso que é recomendado, depois que já ticver algum certo tempo com o windows ativo, principalmente quando já havia aberto vários programas ou seja o que for, reiniciá-lo.
Esse tipo de problema as vezes já me ocorreu também, não só em renderização, mas ao tentar abrir outros programas ou arquivos pesados.