Oi And_Alencar, tudo bem?
É super simples, mas não funciona dessa forma no V-Ray, pois ele tem seu próprio recurso de Matte, não lembro se aceita reflexo nele, mas você não pode usar o recurso do Max, não é compatível com o V-Ray.
No Scanline ou no Mental Ray é só você aplicar um material Matte/Shadow e usar o canal de reflexão dele, você pode aplicar qualquer mapa neste canal para gerar o reflexo, até Shaders para criar reflexo borrado, mas normalmente aplicam um Raytrace, assim, o Matte vai receber reflexo dos objetos 3D também e não apenas a sombra como é o mais comum.
Neste tutorial eu explico como usar o recurso de Matte/Shadow e mostro como usar o reflexo dele, mas só serve para o Scanline e para o Mental Ray.
Link para o tutorial: http://www.tresd1.com.br/conteudotutoriais.php?t=15258
No V-Ray o recurso de Matte está dentro do botão de propriedade dos objetos no menu Settings. Veja se tem algum parâmetro para definir o reflexo, se tiver, é só usar ele igual no Matte/Shadow do Max.
Abraços