Eae Rafael nogueira :)... o ideal é que vc renderize em sequência de imagens escolhendo um formato edequado tipo .TGA, .TIFF, .PNG entre outros.
Agora respondendo a sua pergunta isso vc define na hora em que vc escolhe .AVI dae ele vai pedir um local p/ salvar e abrirá logo depois uma janela chamada "AVI file compression Setup", é por ela que vc vai difinir o quão de qualidade vai ser esse video e o tipo que compressão ele vai "sofrer"(na lista de Compressor), vc pode até escolhe "Uncompressed" na lista que assim o video não sofrerá compressão.
Quanto o serrilhado depende do tipo de render que vc ta usando. Se for o padrão(scanline) então vc deve ir la em render scene(F10) e na aba "Renderer" va no campo "Global SuperSampling" e habilite "Global Supersampler" e na lista abaixo o melhorzinho é o "Hammersley". Vc tambem pode fazer isso manualmente por material da cena, indo no slot com material aplicado e na aba "SuperSampling".
Abraços...;)