Oi Deivid Steffens, tudo bem?
O Mental Ray aceita tudo e faz de tudo, qualquer coisa que outros renders fazem, o Mental Ray também faz de uma forma ou de outra, mas quase nada do que o Mental Ray faz, os outros renders aceitam fazer.
Só que para fazer o que quiser no Mental Ray depende de Shaders, no começo você não deve se preocupar com isso, deve estudar GI, Final Gather, Antialiasing, Caustics e tal.
Depois que tiver experiência, pode usar Shaders de terceiros ou Shaders escondidos no Mental Ray para fazer o que quiser.
No caso de gerar sombra de Final Gather em Matte, basta usar o Shader Irradiance Matte que está disponível para download na primeira página de Shaders do Mental Ray aqui na 3D1.
Abraços