No modo de render "Maya Software":
1 - No menu com botões escrito "Rendering", clicar no botão "Render Settings" (q fica ao lado direito do botão "IPR")
2 - Na orelha "Common", no "Image File Output", vá no ítem "Image format: ", escolha a opção "AVI".
3 - Escolha o tipo de compressão do seu video em AVI, clicando no botão "Compression... "
4 - No "Image size", vc pode escolher as dimensões do video, exemplo: 640X480,etc...
Importante: Se vc renderizar pelo modo MentalRay, vc não terá a opção AVI, só poderá renderizar em imagens sequenciais. Exemplos: TGA, RLA, JPEG, PSD...etc. Aí para juntar e transformar em video AVI ou outro formato, vc deve utilizar um software de edição de video ou composição. Exemplo: Premiere, AvidXPress, AfterEffects, Combustion, Toxic,...etc.