OI Marco, tudo bem?
No Combustion você usa o Operator>Mask>Draw Mask, para desenhar uma máscara tipo Path do Photoshop sobre um vídeo.
Usa as teclas que o Vympel disse, para ajudar na criação, tudo é assim no Combustion, os detalhes estão no Shift, Alt e Crtl.
Depois que desenhar e fechar a máscara, vai "recortar" para você, pode colocar um pouco de Feather e tal.
Para animar, você liga o animate, vai movendo a barra de tempo e editando a posição dos Handles e dos Knots do Path, para dar o formato que precisar, assim ele vai animando.
Se for algo feito em 3D, é muito mais fácil renderizar um matte no Max para usar como máscara, ai não precisa animar nada, só usar o Set Matte do CHannel.
Abraços