Oi Bisewski, tudo bem?
Eu acho esses procedimentos muito estranhos.
Porque aplicar o Subdivide se vai aplicar o Mesh Smooth?
Os dois fazem a mesma coisa e o Subdivide ainda vai estragar a malha, porque vai fazer subdivisões irregulares.
Todo mundo usa apenas o Mesh Smooth ou o Turbo Smooth.
1 GB de RAM é pouco, é o mínimo adequado para trabalhar com o programa, serve para fazer trabalhos medianos, para trabalhos realmente profissionais e pesados, cheios de geometria, materiais complexos e efeitos avançados, precisa de 2 GB ou ainda partir para um sistema de 64 bits, que é o indicado para grande quantidade de informação no arquivo 3D.
Agora, saber economizar em todas as etapas do trabalho com 3D é fundamental, caso contrário, nenhum computador vai aceitar renderizar.
Conhecer de composição também é muito importante, porque permite renderizar a cena em partes e juntar tudo depois no PhotoShop, no Combustion ou similares.
Se dá erro e não consegue fazer a cena, é normal que não ocupe memória mesmo, porque a cena não está sendo processada, o que está ocupando é apenas o que o programa e a cena aberta gastam, o que sobra é o que ele pode usar para o render.
O Bitmap Pager não vai ajudar em nada, porque o problema não é com texturas gigantes ou com Shadow Maps enormes, é problema de muita geometria, muito cálculo para ele fazer.
A única opção é aumentar o Swap do Windows, a memória virtual do sistema.
Se isso não adiantar, só com mais RAM ou economizando melhor nos polígonos da cena, que com certeza absoluta está exagerado e desnecessário.
Abraços