o Mental Ray é muito mais profissional para isso e muito mais complexo, portanto, é normal ser mais dificil.
mas neste caso não é, porque no Mental Ray dá para renderizar os elementos normalmente pelo recurso do max mesmo e no v-ray tem que descartar tudo para usar os recursos próprios de elementos dele.
o v-ray foi feito para facilitar, por isso tem tantas limitações, o mental ray foi feito para ser ilimitado, por isso é mais difícil.
em composição profissional, é só ter os elementos que você monta o que quiser no after, dá até para fazer o GI no after se quiser, renderizando a cena sem GI no max.
não precisa da sombra e do GI em alpha, isso é para fazer montagem simples quando a pessoa não sabe usar os modos de layer para compor.
vc já conseguiu ter a sombra e o GI sobre o vídeo sem interferência.
agora só precisa criar o layer do objeto.
no seu teste com a esfera, agora você teria que renderizar só a esfera sem mais nada na cena e salvar em alpha.
no plane que está no piso você clica com o botão direito, entra no properties e desabilita a opção Visible to Camera.
ai o plane continua na cena, gera GI na esfera, mas ele não aparece no render e fica só a esfera em alpha.
então está pronto, é só colocar em cima da composição no After que vai ter o objeto com todos os efeitos, a sombra e o GI no layer de baixo e o vídeo no último layer, criando a composição corretamente. :)