Primeiramente, se você não tem problemas com os seus 2gb de RAM (nunca travou o programa por falta de memoria), não tem porque colocar mais.
Sobre o Vista 64 bits, ainda não encontrei nenhum teste que realmente mostre diferença de desempenho sobre o Vista 32 bits. Pela lógica, com o processador de 64 e o 3Ds 2008 64, era pra ser melhor.
A sua placa de vídeo é muito boa. Agora depende do que você acha dela, lembre-se que ela só influencia no desempenho das viewpoints do MAX ( ainda assim o processador conta mais ). Se você está sofrendo muito com a manipulação de cenas pesadas na viewpoints, então poderia considerar um upgrade de vídeo. Mas esse é um ponto crítico, a placa de vídeo no 3Ds Max não funciona como nos jogos. Em jogos, se você migrar dessa placa sua para uma 8600GT, já vai sentir uma boa diferença, pois essas placas são extremamente otimizadas para jogos e os shaders dos jogos utilizam os recursos da placa da melhor maneira possível. No 3Ds MAX, somente na versão 2008 que apareceu um pouquinho de shader em tempo real, com aquelas sombras... Tirando isso, o que o MAX faz nas viewpoints é renderizar muito polígono crú, o que acaba consumindo mais processamento bruto do que otimização de shaders e etc como vemos nessas placas da nVidea e ATI similares...
Resumindo, se você está com problemas nas viewpoints, considere a troca da placa de vídeo, mas a migração terá de ser pesada se você quiser realmente sentir diferença, ou seja, de uma 8500 para uma 8800GT, não estranhe se você achar que não mudou nada... Já nos jogos, a diferença será grande...