Oi Maurício, tudo bem?
O método mais comum para tirar um fundo de um vídeo, é gravar o vídeo em chroma, ou seja, com aquele azul forte atrás, para depois poder retirar essa cor num soft de composição, pode ser no After Effetcs ou no Combustion. Pode até ser em editores de vídeo, como Premiere e XPress.
Agora, se não tem esse fundo em chroma, dá para recortar, mas é trabalhoso, tem que fazer uma máscara e animar conforme a mudança de frames.
Se a cena é feita em computador, seja 3D ou 2D, você tem muito mais recursos para fazer o recorte, pode ter até 256 graus de transparência.
Para isso usa-se o famoso canal Alpha, o quarto canal da imagem, ele guarda uma imagem em tons de cinza que contém os dados de transparência.
O padrão mais comum para usar este canal em vídeo é TGA 32 bits, mas tem muitos outros formatos que aceitam, como RLA, RPF, TIF, entre outros.
Quanto a composição, tem muitos recursos para isso, dá uma olhada no Render Elements do 3ds max, depende de cada caso para saber quais recursos vai usar, e depende também de um bom conhecimento no soft de composição que for usar.
Para o 3ds max, o soft de composição mais indicado é o Combution.
Abraços