Oi Jeferson, tudo bem?
Seja bem vindo ao nosso site, espero que goste e participe bastante.
Vidro é facinho, é um dos materiais mais simples que tem, o problema não é o vidro, é o entorno.
Leia este tutorial que vai te explicar como fazer todo tipo de vidro transparente e colorido no 3ds max, seja no render padrão ou no Mental Ray.
O link é: http://www.tresd1.com.br/conteudotutoriais.php?t=15321
Mas mesmo que faça o material corretamente, pois o seu já parece estar correto, nunca vai ficar bom no render se não tiver um "mundo" ao redor.
Porque materiais reflexivos e refratários refletem e refratam tudo que tem ao redor, se só tem o fundo preto do Max e um plane com cor chapada como piso, não tem como ficar bom, porque o vidro vai refletir e refratar estas cores.
Só de colocar uma imagem HDR no Environment do material ou do programa, já vai melhorar muito, porque o vidro vai refletir e refratar o HDRI.
Nesta seção do site tem diversas imagens HDR panorâmicas para download, são ideais para este fim.
O link é: http://www.tresd1.com.br/texturas.php?t=15232
Agora, trocar de render para o Mental Ray ou para qualquer outro, não melhora em nada, normalmente piora, porque estes outros renderizadores dependem de um monte de configurações para a cena ficar boa, não é só clicar em render como no Scanline.
O seu copo ficou serrilhado no Scanline por falta de Antialiasing, nesta FAQ explica como resolver: http://www.tresd1.com.br/frequentes.php?t=14686
O mesmo acontece com o Mental Ray se não ajustar corretamente o sistema de AntiAliasing dele, que é muito mais complexo do que o do Scanline.
O problema da sombra é porque você esta usando sombra Shadow Map, nunca deve usar este tipo de sombra com o Mental Ray, apenas Raytraced Shadows, essa é a primeira coisa que precisa saber antes de usar o Mental Ray, porque sem Raytrace muita coisa vai dar errado.
Se está começando, esquece de V-Ray e de Mental Ray por um tempo, tem muita coisa para aprender no Max primeiro.
Use sempre o Scanline para testar, porque no mínimo vai aprender muito mais rápido e depois poderá usar tudo que aprendeu com o Mental Ray sem o menor problema.
Mas de qualquer forma, aplique a imagem HDR no Environment do Max, troque a sobra da luz para Raytraced, coloque uma luz Skylight na cena e diminua a intensidade dela para 0,6.
Abra a janela de render teclando F10 e habilite o Final Gather do Mental Ray na janela Indirect Illumination.
Se estiver no Max 8, coloque 128 no Samples do Final Gather e 2 no Bounces. Renderiza e veja, vai sair bem melhor.
Se estiver no Max 9, coloque 128 no Rays Per FG Point, 2 no Bounce renderize para você ver.
Mas como eu disse, essa não é nem de longe a linha certa de estudo.
Abraços