Ih cara, tais precisando pegar uns tutoriais basicos do after... :D
Pesquisa primeiro sobre o funcionamento do TrackMatte, com ele vc usa o layer de cima como mask.
Mas o que vc quer primeiro é o lens blur mesmo, escolhendo o layer do Z como depth map, adiciona ele como layer na composição pra poder selecionar, só deixa ele oculto, mas ele tem que estar na timeline.
O motion blur do after é pra animação do movimento dos layers, não é pra aplicar blur em video. Pra isso o ideal é usar o plugin reelsmart motion blur da revision, ele tem u m modo automático que ja funciona muito bem, e também trabalho com motion vector que vc exporta do max mas nunca vi funcionar muito bem.
Outro plugin muito bom é o lenscare da frischluft, é pra fazer DOF muito melhor que o lens blur padrão.