Cara, sua config. do pc está muito boa, e ainda trabalhando em 64bits não era pra dar esse problema.
Eu já renderizei uma imagem de um prédio em 5000x4000px num Phenom II X4 920 (2.8GHz) com 8GB de ram, e olha que a cena era muito pesada, chegava perto dos 40 milhões de polígonos... e renderizou na boa, 3hr de render usando o XP 64bits e max 2009, mas era mental ray.
No começo estava dando um erro e não renderizava nem a pau, daí eu descobri que o problema era em um determinado material. Corrigido esse material, o render foi na boa.
Dá uma verificada na sua cena, e tenta ver alguma possível configuração errado de material ou até mesmo algum mesh na cena que pode estar causando isso.
Primeiro tenta renderizar em alta resolução sem material nenhum, aplicando um material cinza standard em tudo, se o render fluir, é pq algum material está com problema, agora se o render travar, o problema está em outra coisa.
Vai testando que vc consegue chegar em uma solução.
Abraços e boa sorte.