quist, não sei bem como é a cena, tipo: se vai ter animação de personagem, se vai ser quadro parado ou se vai ter somente movimento de camera.
Realmente 512 mb pro 3dmax complica. Que versão do max vc usa ? Testou na 9 ?
Eu , a poquissimo tempo, renderizei (sem proxy) no vray uma cena com um exercito inteiro, cavalos, cloth nas bandeiras, crownd e tudo mais, e para complicar mais ainda era 3 vezes maior que D1 (720x486).
Assim: Quando tenho uma cena dessas que não renderiza, a primeira coisa que faço é diminuir a resolução das texturas, numero de polígono e se tiver usando GI o que dá pra reduzir. Pensa assim, o que tá em primeiro plano precisa de resolução o que tá mais longe da camera não.
Se nada disso funcionar, apela, renderiza em layer, se são 1000 personagens , renderiza de 200 em duzentos por exemplo, renderiza o que sua maquina aguentar, depois usa algum software de composição e cola seus layers.
Esse problema , não é exclusivo de nós mortais aqui no Brasil, lá fora a galera sofre com isso, por exemplo a PDI fez acordo com a HP pra renderizar seus filmes, pq tá ficando muito complicado de processar 3000 personagens com cloth, hair, dinâmica, Gi e SSS juntos.
Espero ter ajudado !!
Vlw !!! :-P