Oi Bisewski, tudo bem?
O Feitosa tem razão, o Matte/Shadow só funciona com RayTrace quando estiver usando o Mental Ray, até porque o MR nem aceita a Shadow Map do Max.
Tudo que é Shadow Map no render padrão do Max, tudo que aparecer no Help com Shadow Map e qualquer tutorial que explique como fazer com Shadow Map, está falando do Render padrão do programa.
O mesmo recuso vai funcionar perfeitamente com RayTrace quando estiver no Mental Ray, porque o recurso é traduzido para os Shaders do Mental Ray na hora do render, então, não é mais o Matte/Shadow do Max, só tem a mesma interface de configuração, é o Matte/Shadow do Mental Ray.
O mesmo acontece com o Volume Light padrão do Max, por exemplo, usando o render padrão ele só aceita sombra Shadow Map, mas usando o Mental Ray ele aceita sombra RayTrace e gera todos os efeitos com Raytrace.
No Slot de reflexão do Matte/Shadow pode até aplicar Shaders de reflexão do Mental Ray se quiser.
Abraços