Oi Jefferson,
Abaixo vou postar a resposta do André para sua dúvida.
-----------------------
Oi, tudo bem?
É normal o Mental Ray informar que não poderá guardar a transparência no GBuffer, pois esse é um método super antigo de preservar a transparência que não é aceito pelo Mental Ray, mas a renderização vai acontecer normalmente.
A Autodesk deveria atualizar estes recursos para renderizar em HDR e poder preservar qualquer efeito com qualidade, mas acho que não se preocupam muito com isso porque não é normal produzir estes efeitos direto na imagem final, o mais indicado é renderizar estes efeitos separados para compor na pós-produção, assim, não importa se tem transparências ou não.
Mesmo se renderizar com o Scanline, que aceita a transparência no GBuffer, os efeitos não serão gerados atrás de objetos transparentes, se tiver um vidro completamente transparente na frente do efeito, o efeito não aparece, então, o correto é renderizar separado e compor no Photoshop ou After Effects.
Agora, sobre a geração dos efeitos de Lens em si, era para funcionar perfeitamente de acordo com o tutorial, atualmente não se usa mais luzes Spot do menu Standard, pois não é uma luz fotométrica e não fica boa com iluminação fisicamente correta, então, sugiro que use a Free Light escolhendo a opção Spot na lista Light Distribuition (Type) no início do menu da luz, desta forma poderá trabalhar com controle de exposição e efeitos fisicamente corretos.
Basicamente é só adicionar a luz no Lens Effects e habilitando a opção Interactive, no início do menu do Lens Effects, você verá os ajustes dos recursos em tempo real, até mesmo se alterar a cor das luzes.
Eu fiz um teste rápido aqui para te enviar, assim, poderá usar como referência, estude esse arquivo e qualquer dúvida que tiver é só me enviar um email.
Teste Abração e tudo de bom.
André Vieira