Oi Fabio, tudo bem?
O modo mais simples de aplicar um Matte no Combustion é com o operador Set Matte.
Você coloca primeiro o Layer com o vídeo de fundo, depois, coloca o Layer com o Matte, em cima você coloca o Layer com o vídeo que será recortado pelo Matte.
Neste último Layer você aplica o Set Matte e escolher o Layer do Matte nas opções dele. Pronto, o recorte é feito.
Vai aparecer um pouco do Layer do Matte em baixo, porque ele ainda está ligado, você pode desligar ele e fica tudo certo.
O importante é que o Matte deve ter o mesmo tamanho e duração do vídeo que será recortado, o Combustion não aceita que o Matte tenha tamanho diferente ou duração diferente.
Abraços