Oi Ric, tudo bem?
Se você é iniciante como disse, então, o certo é esquecer o V-Ray, esquecer o Mental Ray, esquecer qualquer tipo de plug-in e estudar o 3ds max, porque tem muita coisa para aprender antes de usar um plug-in ou um render profissional.
Estas questões são do 3ds max e não tem nada haver com o V-Ray, então, no mínimo dificulta muito o estudo se aprender a criar os efeitos num programa que não conhece usando um render que não conhece.
Dominando estes efeitos no render padrão, quando for estudar o V-Ray só vai precisar aprender as coisas exclusivas dele.
Como o tempo para aprender o Max é longo, cerca de 4 anos, se for pelo caminho errado a dificuldade e a deferença de tempo vai aumentar muito.
O efeito de Volume está atravessando os objetos porque você está usando sombra Raytraced, com certeza absoluta.
O recurso de Volume do Max só aceita sombra tipo Shadow Map, como eu explico no tutorial de Volume aqui do site, vai ser muito útil para você, o link é: http://www.tresd1.com.br/conteudotutoriais.php?t=15322
Os demais tutoriais também serão muito úteis se é iniciante.
O V-Ray não tem um recurso próprio de Volume, só no material, na cena ele usa o recurso do Max, portanto, também precisa ser com Shadow Map, mas a sombra Shadow Map não reconhece transparência, como vidros por exemplo.
Apenas usando o Mental Ray que você vai poder usar o recurso padrão de Volume do Max com sombras Raytrace, ai sim vai reconhecer os objetos e as transparências mesmo usando Raytrace, porque na verdade não é o recurso padrão do Max que está sendo usado, apenas a interface de configuração é a mesma, na hora do render o recurso é convertido para o Shader Parti Volume do Mental Ray que aceita o efeito de Volume com Raytrace.
Sobre a parte de iluminação, leia os tutoriais de iluminação aqui do site e os grupos de estudo sobre iluminação na seção "Colaborações e Grupos de Estudo".
Abraços