Oi Mode, tudo bem?
Faz tempo que você não aparece, é um prazer te ver por aqui.
O Feitosa te explicou muito bem, usano esse esquema de máscara você faz a transição que quiser.
veja o módulo Paint do Combustion, lá você pode criar gráficos animados e usar esses gráficos como matte para recortar os vídeos.
Dá para criar coisas incríveis.
Agora, se deseja fazer aquelas transições varejo de casamento que vem pronta e todo mundo conhece, tipo virada de página, que é a pior, então, é melhor pegar o Premiere e colocar o plug-in Hollywood FX, esse não falta em nenhum lugar que grava casamento, ou "filmam" como falam. :)
Esse tipo de coisa é melhor fazer no Premiere ou em qualquer outro editor de vídeo.
Num Compositor de vídeo você tem mais trabalho para fazer uma transição, mas pode fazer da forma que quiser, pode fazer qualquer coisa.
Além desse lance de máscara, tem filtros, tem modos de mesclagem dos Layers, tem a parte 3D do Combustion, tem muitos efeitos e técnicas que podem ser aplicadas para criar transições espetaculares, mas não vem pronto, tem que montar da forma que desejar.
Abraços