uma coisa que é muito comum que ocorre com o windows é que o infeliz custa librrar a memoria que já foi usada para manter outros programas abertos durante o uso do windows, Mesmo quando no gerenciador de tarefas está como disponível.
MAs por outro lado o problema pode estar em sua cena também. alvez alguma geometria aí ou efeito. Não creio que seja a quantidade de objetos que está sendo grande o suficiente para gastar toda sua memoria. Mesmo porque o problema está ocorrendo logo no inicio da renderização. Faça isso: quando for renderizar abra o gerenciador de tarefas e, na aba PROCESSOS, veja quanto que o 3ds max está utilizando da memoria e veja também na parte de baixo a memoria total sendo utilizada.
Já por 3 vezes ocorreu o mesmo comigo em uma cena. Ela renderizava normal, mas quando insirei uma geometria (acho que se tratava de um PLANE tampando algo) começou a dar isso (falta de memoria). Só retirei o PLANE e o problema foi resolvido.
Talves o seu problema seja algo parecido, problema de geometria ou algum objeto ue está causando isso. Vc sabe desde quando começou a ocorrer esse problema aí?
Houve um usuário daqui que estava com o mesmo problema e começou a ocorrer isso depois que inseriu um modelo. Ele retirou o tal modelo e a cena renderizou.
Outra coisa: não há problema algum programas de 32bits em sistema de 64 bits. O que ocorre é que alguns programas de 32 bits não irão funcionar, mas outros sim, perfeitamente. O que acontece é que, assim como o sistema de 32 bits, os programas também posuem limites de memoria. Mas não é o seu caso, pois vc mesmo disse que é 3ds max 64 bits.