Oi Alexandre, tudo bem?
O Max só vai usar a memória se ele precisar na cena e quando ele precisar.
Se estava renderizando uma cena antes que só usava 512 MB de RAM e colocou mais 512, a cena vai continuar usando apenas 512 MB de RAM.
Mas se for renderizar uma cena mais complexa, que exige mais de 512, antes o Max iria começar a usar a memória virtual do Windows em coisas que ele usaria a RAM, sendo assim, o render fica muito mais lento.
Agora, quando ele precisar de mais de 512 em cenas mais pesadas, em vez de usar a memória virtual do Windows no que deveria usar a RAM, ele vai usar direto na RAM e o render ficará mais rápido.
Pega um Teapot, aplica um material cromado nele, pega o Array e cria milhares de cópias deste teapot na cena, coloca uma luz tipo Area e manda renderizar para você ver, ele vai usar mais de 512 MB de RAM.
Abraços