Oi Sherlock, tudo bem?
O Mental Ray é um renderizador complexo e faz pouco tempo que foi inserido no 3ds max, não é todo mundo que vai saber te responder, precisa ter paciência, tem coisas que não vai conseguir resposta.
Você disse que está começando, isso é com relação ao 3ds max ou apenas quanto ao Mental Ray.
Porque se está iniciando no Max, é melhor aprender bem todos os recursos do Material Editor e as técnicas de iluminação antes de partir para um renderizador profissional, seja qual for.
Se está começando no Mental Ray, ai fica mais fácil de explicar, pois já conhece toda a base na parte padrão do 3ds max.
Neste caso, pode aplicar o Shader no Slot Surface do menu Mental Ray Connection no seu material.
Mas o melhor Shader para criar vidros é o Dielectric. Agora, em determinadas situações o Glass é mais indicado, como vidro jateado por exemplo.
A forma de criar os materiais vai mudar um pouco, mas todos os mapas procedurais podem ser usados da mesma forma que no render padrão, então o uso de falloffs, Masks, Mix e tal, pode ser feito normalmente como no render padrão.
Se for usar o Dielectric, tem um material pronto, o Glass (Physics Phenomenon), que é o mesmo que um material Mental Ray com o Shader Dielectric no Slot Surface e no Slot Photons.
Você pode ter mais controle fazendo "na mão", colocando um Dielectric no Slot Photons e outro no SLot Surface do Material Mental Ray ou no menu Mental Ray Connection do material padrão.
Por fim, se deseja conhecer mais do Mental Ray, eu sugiro que começe a comprar a Digital Designer, estou escrevendo diversos artigos explicando bastante coisa do Mental Ray a mais de 6 meses, o ideal era começar a ler desde os primeiros, onde explico a base do renderizador.
Mas a edição atual nas bancas fala justamente sobre isso que perguntou, no artigo deste mês eu explico sobre a criação de vidro de diversas formas, usando desde mapas padrões até os Shaders, e mostro como gerar Caustics de objetos compostos, como um copo de vidro com líquido dentro.
Está explicando em detalhes todos os recursos e funções do Shader Dielectric.
Abraços