Oi Galreg, tudo bem?
Se tudo estiver certinho, se o modelo estiver correto e o material também, então, é facinho.
Clica com o botão direito do mouse sobre o modelo, escolhe Properties (Max8) ou Object Properties (Max9), entra na ficha Mental Ray e habilite a opção Generate Caustics.
Certifique-se que o Mental Ray esteja habilitado, assim, ficará disponível a ficha Indirect Illumination na janela Render Scene (F10).
Nesta ficha tem o grupo Caustics no menu Caustics And Global Illumination, habilite o efeito no Enable e habilite o Radius.
Aumente o número de Photons na cena no grupo Light Properties, coloque uns 50 mil e renderize para ver.
Se ficar granulado, então, você precisa aumentar o Radius do Caustics, se ficar muito borrado sem resolução, então, você precisa diminuir o Radius.
Por fim, aumente o número de Photons ainda mais para ter mais qualidade e detalhamento no efeito.
Veja que o granulado some também se aumenta o número de Photons, então, só aumente o Radius se tiver certeza, normalmente o melhor é diminuir.
Lembrando que todas as luzes devem estar com sombra Raytraced e que o melhor material para criar vidro no Max é o Raytraced também, assim, não tem erro.
Abraços