Oi Carvalho, tudo bem?
Renderizar imagem para impressão depende de muito poder computacional, ainda mais se tiver GI e efeitos modernos de iluminação.
Precisa ter pelo menos 1 GB de RAM, mas o ideal é 2 GB, precisa ter muito espaço no Driver C e precisa configurar tudo com muito cuidado, porque qualquer coisa exagerada pode impedir de renderizar.
De qualquer forma, o Mental Ray oferece muitas opções de otimização dos recursos do sistema, como os que estão na ficha Processing, ainda tem a opção de renderizar pelo Render Passes, como eu mostro no vídeo curso de Mental Ray da 3D1, desta forma, tem que renderizar até num 386.
Também é importante salvar a imagem antes como o Leandro disse, caso contrário, vai gastar recursos do sistema para armazenar a imagem ainda.
Abraços