Aê alan, observa as dicas do robson que esses problemas são velhos conhecidos.
pedraum, vc alterou o memorylimit da ficha processing para 6gb? Se mesmo assim der pau marca a casinha use placeholder e conserve memory. Se mesmo assim não funcionar, muda a paginação de memória do windows, ou então tenta usar proxy. São vários os fatores que podem fazer a memória ir pro espaço como por exemplo: muitos objetos na cena, ou displacement / hair and fur ou até mesmo a placa de vídeo não suportar e daí o max fica fechando tela. Eu evito ao máximo usar otimização de memória porque o render fica mais lento. Uso como posso os 8gb do meu micro, mas mesmo assim na última cena tive que usar proxy por causa dos 20 milhoes de poligonos. Fazendo as contas por cima, um micro com 4gb de ram deve processar até 5 milhoes de poligonos sem precisar otimizar nada. Passando desse limite começam problemas e recomenda-se otimizar. No meu micro eu trabalho bem com até 14 milhoes de poligonos sme uso de displacement nem efeitos pesados. Passando disso tem que otimizar mesmo. Só lembrando, todo mundo pensa que isso é um problema do mentalray, o que não procede. A culpa é do rwindows mesmo.
abrs!