OI Manoel, tudo bem?
Eu sinto não saber te ajudar muito no V-Ray, faz tempo que não uso mais ele, mas usei por dois anos, é um ótimo Render, em maquete eletrônica não dá para sentir muito a diferença com o Mental Ray não, só vai sentir a diferença de poder do Mental Ray em coisas realmente mais pesadas, como animação para TV e cinema.
Sobre as suas perguntas, posso te falar do VRayMtl, que sempre teve nele.
Normalmente cada render tem seus próprios materiais, porque render é o cálculo de como a luz interage com os materiais da cena, sendo assim, o mais importante é luzes e materiais, por isso cada um tem os seus.
Só no Mental Ray que é um pouco diferente, como foi a própria Discreet que fez a integração dele, e o Mental Ray oferece recursos poderosos para criação de Shaders, eles traduziram para o Mental Ray todos os materiais do Max, então, os materiais normais são convertidos para o Mental Ray na hora do Render, assim, você pode fazer quase tudo da mesma forma que sempre fez, só que obtendo mais qualidade, porque está renderizando com o Mental Ray.
No V-Ray tem que usar o VrayMtl para tudo, não use Standard, pode aparecer artefatos na cena dependendo da situação.
No VRayMtl tem a opção para controlar o diffuse, mas o brilho é outra coisa, o VRayMtl é um material fisicamente correto, e na verdade não existe o brilho separado da reflexão, se brilha também reflete, porque só coisas polidas brilham, se é polido também é reflexivo, entende?
Então, para criar brilho você tem que baixar a cor do Reflection, com preto não reflete e não brilha, com cinza escuro já reflete e brilha um pouco.
O Glossy controla o quanto o reflexo é borrado, que também afeta o brilho, deixando-o mais difuso.
Sobre as luzes Sky do V-Ray, não sei te falar, nunca usei.
Sobre a qualidade das texturas, tem que ver o tamanho dessa imagem, se colocou uma imagem minúscula numa área grande, vai ficar ruim, tem que ser uma imagem com boa resolução.
Mas pode ser o antialiasing, todo render tem que controlar a qualidade para não ficar serrilhado, isso é feito no Image sampler do V-Ray.
Abraços