Vc já renderizou alguma coisa no mental ray ou é a primeira vez?
O mental ray não é difícil, mas sem um conhecimento básico não dá para usar.
Se agora deu a mensagem de espaço insuficiente e conseguiu fazer o cálculo do FG é pq falta só um pouco de memória para terminar. Se estivesse com o max e windows 64 teria renderizado.
Eu tentaria editar o boot.ini para ler 3GB de ram e renderizar o trabalho, pq na penultima mensagem o erro fala que está tentando usar 2,085 GB de ram, falta pouco para dar.
Diminui o memory limit para 512 para esvaziar a memória antes de encher, vc usa valor alto quando a cena está renderizando normal. Se dá problema tem que baixar o valor.