Oi José Ricardo, tudo bem?
A primeira coisa que a pessoa precisa saber quando resolve usar o V-Ray, é que nada do que ela fazia com materiais do Max vai dar certo, tem que aprender tudo de novo na parte de materiais, porque quando usa um render de terceiros, tem que usar só os recursos dele, porque os recursos do Max não são compatíveis.
O único render de terceiro que é totalmente compatível é o Mental Ray, porque foi a própria Autodesk que colocou ele no Max.
Você não pode usar mapa Reflect/Refract, como mostra na segunda imagem, deve usar apenas o material do V-Ray, como na primeira imagem, mas nela aparece algum mapa aplicado no canal Reflect, o único mapa que se aplica ai é o Falloff, se colocar Reflect/Refract ou coisa parecida, não vai dar certo mesmo.
Neste caso, eu sugiro que estude melhor os macetes do V-Ray se escolheu ele para trabalhar.
Agora, seja como for, nem no Render padrão do Max daria certo com um Reflect/Refract no canal Diffuse, não existe essa composição.
Então, se for muito iniciante no max como parece, é melhor estudar primeiro o programa, aprender texturização, mapeamento, criação de materiais e iluminação para só depois estudar um render profissional.
Abraços