Oi Demon, tudo bem?
Realmente a memória é uma coisa muito importante e 512 é muito pouco.
Se a placa fosse offboard, 512 é o mínimo aceitável para estudar o MR, mas se a placa ainda rouba um pouco da memória, realmente fica complicado.
Mas como eu sempre falo aqui, no Mental Ray você pode renderizar uma cena super pesada até num 386, vai demorar pacas, mas não vai dar mensagem de erro de memória nem nada deste tipo.
Usando os recursos que ele oferece para otimizar o uso do sistema, dá para renderizar em qualquer máquina, mesmo que demore.
Agora, o micro desligar quando está exigindo muito processamento e memória, ai não é problema do Mental Ray, é problema do micro.
Pode ser algum pequeno defeito no pente de memória, ai quando lota ele dá pau e desliga, pode ser o Windows que não está gerenciando bem a memória, ainda mais se for o Windows XP que é todo problemático.
Com o micro e o sistema operacional em ordem, não é para desligar na sua cara, é apenas para demorar no render.
Faça as seguintes configurações e tente renderizar novamente.
Habilite as opções Use Placeholder Objects, Use Mental Ray Map Manager e Conserve Memory na janela Processing.
Depois, coloque 576 no campo do Memory Limit, pois você deve colocar o valor igual a uma vez e meia a quantidade de memória que você tem disponível.
Acesse a janela Renderer e diminua o Bucket Size para 24 e tente renderizar assim.
É para ir na boa sem problemas. Poderia tentar diminuir ainda mais o Bucket, poderia tentar com 12.
Outra coisa que pode ajudar é diminuir para 4 o Max Depth, Max Reflections e Max Refractions ainda na ficha Renderer.
Sobre a questão da diferença das partes geradas pelo Render Passes, isso aconteceu pela baixa qualidade do GI.
É o mesmo que aconteceria se renderizasse uma animação com essa qualidade, a solução de iluminação vai variar de uma cena para outra gerando Flickers.
No caso de uma imagem só dividida em várias partes, cada parte terá uma pequena variação na solução de iluminação e vai dar essa diferença.
Com uma boa qualidade no GI, não haverá essa diferença.
Abraços