Oi Leonardo, tudo bem?
Eu fico feliz que conseguiu, é por ai mesmo, mas o Mental Ray não é simples, terá que estudar muito para conseguir fazer tudo que deseja e chegar no devido realismo.
Essa é uma situação simples, em coisas mais complexas complica, mesmo assim você já percebeu vários pontos que geraram dúvidas.
O Bounce do Final Gather só existe depois do Max 7.5 com o Mental Ray 3.4. O Max 7 tem o Mental Ray 3.3.
O Parti Volume é o Shader que cria Volume no Mental Ray, ele aparece no Slot Volume na ficha Renderer da janela Render Scene.
Sobre o vidro, como eu expliquei na mensagem, esse é um raio laser real com luz mas sem Photons, então, só poderá ser reto sem refletir ou refratar.
Para criar qualquer situação mais complexa do que essa, será necessário criar o raio com Photons, o que torna o processo absurdamente mais complicado, precisa conhecer muito bem o Mental Ray para fazer.
Sobre o erro de Photons, sempre que definir recursos de Photons que não tenha como gerar pelos materiais da cena, vai dar esse erro, pois os materiais não estão com Shaders para controlar os Photons.
Sobre o render da imagem ficar serrilhado, é falta de configurar o Antialiasing, dá uma olhada nessa FAQ que está explicado como fazer da forma mais básica possível.
FAQ de Antialiasing no Mental Ray: http://www.tresd1.com.br/frequentes.php?t=15718
Abraços