O tut que o Rogério disse é esse: http://www.louismarcoux.com/Videos/BackgroundBlend.wmv
Mas só tem esse shader ai no max 2008 e 2009.
Mas dá pra fazer em qualquer max com shaders de terceiros.
Mas mesmo sem isso dá pra fazer também com os recursos do Max.
O Matte/Shadow só funciona com sombras, não guarda GI e Caustics.
Mas vc pode fazer um matte na mão, tipo, se fizer o piso e clicar com o botão direito no objeto que faz os efeitos nele, tipo um teapot, vc entra no properties e desmarca o visible to camera.
Ai ele objeto não aparece no render, mas os efeitos de GI e Caustics dele aparecem no piso.
Depois vc renderiza só o objeto e compõe no photoshop.
Outro jeito é usando o Render Elements, que é ótimo pra composição.
Com o Render Elements você faz cada canal da cena separado, sai uma imagem só com as cores, outra com os reflexos, outra com o GI e assim vai.
Olha esse tut aqui: http://www.tresd1.com.br/conteudotutoriais.php?t=27912
Outra opção é usar o Shader Irradiance Mat, que guarda o GI junto com as sombras em alpha pra composição, baixa lee nessa página, é o primeiro: http://www.tresd1.com.br/texturas.php?t=13941&busca_no_topico=matte