eu não sou usuário do vegas, mas acho q se ele corta os cantos é pq vcs não estão respeitando as margens de segurança para a saida de arquivo....lembrem q não apenas no vegas, mas no premiere e em qq software de edição, pós e até de 3d como o max e maya tem margens de segunraça q devem ser respeitadas para poder se trabalhar de forma mais profissional....
qto a compactação do avi é questão de saber usar os coedcs de encoder corretamente, pois as configurações dos codecs são particamente as mesmas em todos os softwares q os utilizam...l
avi, mkv, mp4, etc....são container e eles apenas alocam os videos compactados....é como se fossem caixas.....o melhor na atualidade levando em consideração de recursos é o mkv q aceita multiplos audios e parece q aceita até videos sobrepostos com cameras diferentes....
dvix, xvid, x264, h264 etc....são os codecs. Eles q geram o algorítimo do video, ou seja, eles geram a compactação....atualmente o melhor em relação a qualidade/tamanho é o h264 q em um arquivo de mesmo tamanho q um dvix pode ter até 40% a mais de qualidade....
o codec de audio com melhor capacidade no momento é o ac3 q possui recursos de DS, THX, audio 7.2, mas o seu tamanho chega a ser mais de 20% maior q o mp3...
qdo for salvar animações de programas 3D é recomendado fazer o render sequencias de arquivos de imagens (normalmente TGA ou PNG q seria um tga compactado)....a vantagem disso??? vc tem qualidade total para editar o video, ja q poucas vezes vc irá gerar um video apenas saindo do 3D, além de q previne contratempos e erros....
das configurações de compactção de audio e video a mais importante é o bit rate q a relação de qualidade em relação a transição e quantidade de frames de uma animação...façam testes, leiam tutoriais e aprendem a trabalhar com os valores para entender legal o seu funcionamento.....lembrem tb q o premiere, o afx, e provavelmente o vegas tem os presets para exportaçao....compare a qualidade de um preset para outro e veja o q mudou nos valores....
desde ja me desculpem por não ser tão claro e não tirar realmente todas as duvidas, mas eu sou mto amador em video e pouco mexo nisso, e isso foi só o q eu pude passar adiante...