Oi Leandro, tudo bem?
No After eu não sei se dá para fazer isso, mas no Combustion você usa arquivos RPF que guardam diversos canais da imagem, com este tipo de arquivo dá para selecionar objetos na cena só clicando sobre eles, dá para trocar a textura de um objeto e dá para colocar coisas atrás dos objetos na imagem.
Para fazer "na mão" precisa criar máscaras, ou seja, aplicar material preto em tudo e branco no objeto que deseja marcar o alpha, para renderizar o Alpha, depois renderiza normalmente e usa essa máscara para recortar no After.
O Element ID também deixa fazer isso, porque vai usar a seleção na imagem de ID e transferir para a imagem normal, como na imagem ID as cores são chapadas, é super fácil de selecionar.
No Combustion você usa o GBuffer Builder, o GBuffer Extract e o Show GBuffer, no After eu não sei como ele trabalha, faz muitos anos que não uso.
Abraços