O Vista não precisa de mais RAM, ele usa um mecanismo chamado SuperFetch, que analisa seu sistema e procura por aplicativos que você usa normalmente e pré-carrega eles na memória ram, para agilizar os processos. Ele reserva um espaço de memória em background para "as coisas que você possa vir a usar". Mas, obviamente caso você tenha algum programa em Foreground que nescessite desta memória, ele irá descartar, e dedicar ao aplicativo em uso.
Sobre o seu problema, não esqueça que em sistemas 32-bits, o aplicativo não vai usar mais de 2 GB de memoria (virtual ou RAM) , salvo casos que usam 3 GB ou possuam AWE. Caso vc defina os valores do arquivo de paginação, o que acontece. Como vc sabe que não está funcionando?
Tente definir digamos que o minimo e o máximo para 4GB, apenas para testar, delete o aquivo pagefile.sys da raiz do sistema e reinicie o sistema, apenas por descargo de duvidas. Ao reiniciar, verifique se o arquivo c:\pagefile.sys tenha 4 GB de tamanho.