Oi Ed, tudo bem?
Então não é problemada malha ou da otimização que fez no Real Flow, se fez.
Eu uso o Real Flow desde quando era Beta e em todas as versões ele tem problemas, é um programa problemático, mas é o único que faz o que ele faz, então, tem que dar um desconto.
Você poderia tentar instalar outra vesão do plug-in, veja se a sua é a mais nova. Eu já tive muitos problemas com o Real Flow e alguns foram corrigidos trocando a versão do plug-in para uma mais nova ou as vezes para uma mais velha.
Mas pelo que está descrevendo, você pode renderizar a animação mesmo com esse inconveniente.
Normalmente não se renderiza em AVI ou MOV, tem muitas desvantagens e normalmente é um desperdício de tempo em relação a qualidade final do vídeo, a não ser que não use compressão, mesmo assim, ainda tem muitas desvantagens.
Renderize em sequência de TGA, assim, quando der problema, você colocar para renderizar novamente a partir do Frame que parou.
Me parece essa versão que está usando do plug-in não está descarregando as cenas da memória, já que renderiza alguns frames e dá problema no programa.
Mas se colocar a partir do Frame que parou, ele vai renderizar mais alguns sem problema até parar novamente, certo?
Então, pode tentar trocar a versão do plugin, mas a solução pelo jeito será renderizar em TGA e colocar para renderizar a partir de onde parou quando der problema.
Depois você monta o vídeo no VirtualDUB.
Abraços