Oi Diogo, tudo bem?
Nenhum programa no Windows 32 bits usa mais do que 2 GB de RAM, porque o sistema operacional não permite, o máximo que pode usar é 2 GB e o Windows libera isso conforme a necessidade.
O Mental Ray gasta mais memória porque ele faz calculos muito mais complexos de iluminação do que o Scanline.
O que pode ser feito no Windows 32 bits é editar o arquivo boot.ini para permitir que os programas usem até 3 GB, só que isso torna o sistema instável na maioria das vezes, porque o Windows 32 bits não foi feito para trabalhar com mais de 2 GB de RAM.
4 GB é impossível de usar num só programa no Windows 32 bits.
Em sistemas 64 bits tudo exige mais, então, enquanto o máximo no 32 bits é 2 GB, em 64 bits 2 GB é o mínimo aceitável para usar o programa.
Num sistema 64 bits poderá usar bem mais de 4 GB de RAM e é aconselhável que trabalhe com pelo menos 6 GB em 3D.
Um computador de 32 bits com 4 GB de RAM é um completo disperdício, o problema é aturar os bugs e os problemas dos sistemas de 64 bits.
Abraços