Oi MC3d, tudo bem?
Como você fez essa mesclagem e como foi feito o ator?
Se você recortou ele no After ou no Combustion e criou um mapa de opacidade para aplicar num Plane no Max, para colocar na frente do vídeo e dar a impressão que fazem parte da mesma cena, a borda branca está sendo causada por um erro na criação da máscara para gerar o mapa de opacidade no After Effects.
Você deve usar os recursos de Matte do After para deixar a máscara um pouco mais "magra", no Combustion você usaria o Erode e o Shink para conseguir isso.
Se você fez o ator em 3D e salvou com TGA 32 bits para compor com o vídeo no After, a borda branca é causada pelo Premultipled Alpha desabilitado, não sei se o After entende imagens sem premultipled, no Combustion entende na boa e é muito melhor usar assim, principalmente em efeitos de iluminação, pois a borda não é mesclada com a cor do fundo.
Mas se o soft não entende, fica uma borda branca ao redor do "recorte".
Se for outra coisa, explica melhor para gente.
Abraços