Olá Tiago
Acho que você deveria aumentar a taxa de frames do vídeo.
Para tanto, a melhor maneira é salvar os frames em uma sequência de imagens ao invés de salvar diretamente em AVI.
Sugiro que você salve a sequência em PNG, ou, dependendo da simplicidade da cena, acho que é até mais negócio salvar em JPG com qualidade máxima.
Depois utilize algum programa para edição de vídeo, como o VirtualDub (esse eu recomendo, muito bom - e gratuito) para transformar a sequência em um AVI com um compressor bom.
Sobre compressores, recomendo o DivX ou o Xvid. Ambos podem ser encontrados no http://www.baixaki.com.br/
Não sei se você já sabia de tais procedimentos pois não faço idéia quais aspectos você domina na computação gráfica exatamente.
Abraço :)