Cara, eu enfrento muito disso... Geralmente isso acontece por uma configuração muito elevada, algo que seja além das capacidades do seu PC.
Não importa se tem 16GB ou 1GB de RAM, se a cena exigir muito isso pode não ser suficíente. Lhe recomendo aumentar os valores de memória virtual para o máximo, depois usar o Large BSP... Bom não vi sua cena pra saber, mas seria bom postar um wire só pra ter noção do pepino rs.
Mas geralmente se aumentar a memória virtual tipo pra uns 16GB já resolve (só dá pra por esse valor no Windows 64bits, 32bits no máximo uns 4096mb - pelo menos no XP), lembrando que é bom deixar os valores de memória virtual mínima e máxima os mesmos, só pro Max na hora de puxar a memória vir 16GB de cara e garantir que não falte memória e não ocasione esse pau.
Se os sintomas persistirem, posta aí que te dou mais dicas (só que as outras dicas que conheço já começam a prejudicar na qualidade do render :/)
Portfolio: www.coroflot.com/mindix
Ilustrações: www.mindix.deviantart.com