Oi Vinícius, tudo bem?
O Cleber sempre tem bastante projetos, pois ele é um artista conceituado no mercado, então, as vezes ele leva um tempo para dar uma passada aqui no fórum, mas eu posso te ajudar nesta questão.
O Matte Shadow é um material super simples, já que ele não tem cor, nem reflexo, nem nada, ele serve para deixar o objeto invisível mostrando o fundo no lugar da superfície dele, então, se não aplicou um fundo não vai funcionar.
O fundo pode ser uma cor pura, menos preto para poder ver a sombra, então, supondo-se que você deseja fazer a foto de um produto em estúdio com fundo branco infinito.
Primeiro você telca 8 para abrir a janela do Environment e coloca a cor branca no Slot Color do grupo Background, o primeiro que aparece na janela, mostrado na segunda imagem em anexo, mas com a cor verde no lugar.
Depois você abre o Material Editor teclando M e configura um VRayMtl com a cor branca, em seguida, pega o VRayMtlWrapper e arrasta o material branco para o Slot Base Material, como mostra a primeira imagem em anexo.
Em seguida, habilite as opções Matte Surface, Shadows e Affect Alpha como está marcado na primeira imagem em anexo.
Pronto, agora é só aplicar o VRayMtlWrapper no Plane em baixo do objeto na Viewport, iluminar com uma VRayLight e renderizar para ter o fundo infinito como aparece nas duas imagens em anexo.
Para entender bem, volte na janela do Background e mude a cor do fundo para azul ou verde, renderize novamente e veja, terá o fundo da cor que definiu.
Porém, se o objeto for reflexivo ele vai refletir o material branco aplicado no Base Material do VRayMtlWrapper, então, quando trocar a cor do fundo também precisa trocar a cor do Base Material, como mostra a segunda imagem em anexo.
Se em vez de uma cor for usar uma imagem, é a mesma coisa, a imagem será aplicada no Environment e no Base Material no lugar da cor.
Abração e tudo de bom.
André Vieira