Oi Festamix, tudo bem?
Existem diversos problemas que podem aparecer e diversas formas de resolver.
Mas normalmente isso raramente acontece depois que você ganha experiência no programa e no render que está usando.
Porque é normal configurar exageradamente as coisas no começo e desperdiçar muitos recursos do sistema, assim como tempo de render.
Com a prática os renders ficam melhores e bem mais rápidos.
Se o problema for de muita geometria, o Conserve Memory vai resolver.
Se for de muitas texturas em alta resolução, precisa habilitar a paginação das texturas na HD na janela Preferences.
Nestes dois casos o render fica bem mais lento, mas não dá erro de memória mais.
Se o problema for de RayTrace, então, retire luzes Raytrace da cena e verifique seus materiais, se tiver muito material Ray-Trace, diminua, veja se a configuração do RayTrace Depth não está muito alta na ficha RayTrace da janela Render Scene.
Isso tudo é para o render padrão, cada render tem suas peculiaridades.
Abraços