Oi Daniel, tudo bem?
Com certeza absoluta é erro de configuração em primeiro lugar, em segundo pode ser memória faltando na sua máquina, o mínimo aceitável é 512, mas isso para brincar, para trabalhar tem que ter pelo menos 1 GB.
Você já leu os tutoriais de Mental Ray aqui do site, eles explicam também na versão 6, que é um pouco diferente das versões atuais.
Tudo bem que a pior versão para usar o Mental Ray é a 6, porque foi a primeira que houve a integração, mesmo assim, não é para dar este tipo de problema, a não ser que as configurações estejam muito erradas ou a máquina seja muito fraca.
Veja os outros tópicos que postou sobre o mesmo problema de memória, neles eu expliquei como resolver.
Abraços