Oi Dimitr1, tudo bem?
Matte são objetos que não aparecem no render, aparece apenas a sombra e/ou reflexos, então, se tiver uma imagem de fundo, a sombra e o reflexo ficará na foto.
Assim, se modelar os objetos da foto e alinhar exatamente com a imagem, aplicando Matte nestes objetos você pode fazer outros objetos 3D gerarem sombra, reflexos e passar atrás de objetos da foto.
Você pode aprender a fazer isso neste tutorial: http://www.tresd1.com.br/conteudotutoriais.php?t=15258
Mas não vai funcionar no V-Ray, porque o V-Ray tem os recursos próprios dele para criar Matte, este tutorial explica a forma normal de fazer no 3ds max como sempre foi, que é compatível com o render padrão do programa e com o Mental Ray.
Abraços