Oi Liezão, tudo bem?
Para fazer fazer o Matte no objeto e levar a sombra para composição é bem simples, basta usar o Matte/Shadow padrão do Max, ele é totalmente compatível com o Mental Ray.
Já vai em alpha certinho para composição igual se renderizar no Scanline, não muda nada.
Agora, o Is Mat Irradiance já são outros quinhentos e para compor com Shaders desta forma tem que conhecer muito bem o Mental Ray, porque é a parte mais difícil.
Ainda tem o problema de muitos Shaders serem escritos para o XSI e não para o Max, então, nem sempre todos os parâmetros funcionam, precisa adicionar outros Shaders nestes parâmetros para converter de forma que o Max entenda, portanto, é bem mais complicado.
Mas é raro ter algum efeito no Mental Ray que só usuários super avançados conseguem fazer, normalmente tem opções mais simples, as vezes com menos controle, mas tem.
Por exemplo, se quiser levar o GI num Layer separado para composição, não precisa de nada disso, é só renderizar o Element Light e habilitar a opção de GI.
Se quiser, dá para levar o GI e a sombra juntas neste Element.
Leia este tutorial que eu explico como fazer: http://www.tresd1.com.br/conteudotutoriais.php?t=27912
Abraços