Oi juniocesar, tudo bem?
Uma outra opção é renderizar em elementos para compor depois, assim, você pode fazer um render só dos vidros, depois só o reflexo, depois só a sombra ou até pode fazer a sombra e o reflexo juntos.
No final, você compõe no PhotoShop e tem muito mais controle sobre tudo.
Se quiser deixar o reflexo mais claro ou mais escuro por exemplo, é só modificar a opacidade do Layer.
Quando renderiza tudo junto, se precisar de qualquer ajuste posterior, tem que renderizar tudo de novo.
As vezes o render é rápido, mas as vezes pode levar horas.
Se quiser fazer um teste, coloca um Plane e um Teapot na cena, ilumina certinho, coloca material de vidro nele se quiser ou qualquer outro material.
Ilumine a cena e habilite os recursos de GI do Mental Ray, pode até gerar Caustics se for vidro, assim fica muito mais real.
No Plane você aplica o material branco para gerar GI na cor do Plane.
Mas na hora de renderizar você seleciona o Plane, clica com o botão direito sobre ele e entra na opção Properties.
Dentro desta janela você desmarca a opção Visible to Camera.
Desta forma o Plane continua na cena e gera todos os efeitos de iluminação e reflexão, mas não aparece na imagem, só aparece o Teapot.
Salva esta imagem com a extensão TGA e escolhe a opção 32 bits, sem Split Alpha e sem Premultipled habilitado.
Pronto, poderia agora apenas abrir a imagem no PhotoShop e colar sobre uma imagem branca.
Se o fundo já não aparecer recortado, você entra na ficha Channels, clica no Layer Alpha com o CTRL apertado para fazer a seleção e depois volta no Layer da imagem e tecla Delete.
Se você quiser o reflexo também, então, precisa renderizar a cena de novo com o Plane habilitado para aparecer na imagem.
Agora quem deve ser desabilitado é o Teapot, para ele ficar na cena, criar o reflexo, mas não aparecer na imagem.
Na ficha Render Elements na janela de Render você adiciona o Element Reflection e renderiza.
No final do render vai aparecer outra imagem só com os reflexos, você só precisa desta imagem com os reflexos, pode descartar a outra.
No PhotoShop você cola essa imagem do reflexo em cima do fundo branco, antes do Layer com o Teapot e escolhe a opção Add nos modos do Layer, assim o reflexo fica correto sobre o fundo.
Abraços