Algo está errado é com a sua cena então meu fio... por que o mental ray não pede arrego, só se tiver pouca memória, mas você tem muita! Eu também uso 4GB, pra usar tudo precisa ser o max de 64bits ta?
Mas considerando que você esteja usando o max 9 de 64 bits, pra usar os seus 4 gb, vai no menu do render do mental ray, em processing. Aumente a valor do uso de memória para 3000mb, por que não vai usar mais do que isso.
Ative as opções placeholder object e conserve memory.
Se estiver usando displacement, vai ter que configurar o displace do MR, na maioria das vezes eu configuro o da cena em geral, deixo o limite de subdivisões para o equivalente a 1 pixel da imagem, no seu caso se for mt grande pode deixar até maior um pouco.
O mental não pede arrego, só se não souber usá-lo. Eu nunca tive problema de memória aqui com ele.
Abraço.