Ai Fausto, sei que é difícil desembolsar 200 reais, mas sinceramente cara, se quiser aprender legal o Mental Ray, compra o curso aqui da 3D1, eu comprei e foi o melhor curso que eu vi até hoje.
Fiquei bom no Mental Ray graças a este curso e nunca mais tive erros de store photons, de RAM como esse seu e vários outros que os iniciantes sempre encontram.
No curso também explica o render passes e diversas opções de otimização do render.
Eu acho que vale a pena vc tentar usar as opções de otimização antes de partir pro render passes.
Porque mesmo que não dê certo, pelo menos vai ajudar a diminuir o peso e vai ter que criar menos partes no render passes.
Entra na aba processing e liga as opções Use Placeholder objetos, Use Mental Ray Map Manager, Conserve Memory e coloca 1000 no valor do Memory Limit.
Depois entra na aba renderer e diminui o bucket de render pra 24, ele vem com 48.
Mais abaixo tem o ray trace acceleration, muda na lista dele pra large BSP e tenta renderizar assim pra ver se vai.