Oi João Paulo, tudo bem?
Leia o artigo que o Feitosa te indicou, nele você vai ficar por dentro das questões de Caustics, é muito importante.
Agora, para testar o efeito no seu 3ds max, cria um Teapot, aplica um material de vidro nele usando o material Raytrace do 3ds max.
Clica com o botão direito sobre o objeto e escolhe Properties.
Acessa a ficha Mental Ray e habilite a opção Generate Caustics.
Abre a janela Render Scene teclando F10 e habilita o Caustics na ficha Indirect Illumination.
Habilita o Radius dos Photons e aumenta a quantidade de Photons de Caustics.
Vem com 10 mil, coloca uns 100 mil e renderize para ver.
Deve aparecer o Caustics bem pontilhado, se não aparecer, aumente o Energy.
Depois, ajuste a qualidade controlando o Radius dos Photons e a quantidade de Photons.
Basicamente é assim que se faz, mas tem muitas outras questões envolvidas, no vídeo curso de Mental Ray aqui da 3D1 eu explico detalhadamente todas as possibilidades deste efeito, inclusive Volume Caustics, que o V-Ray não permite criar.
Abraços