Resposta do André
Oi, tudo bem?
É simples compor a cena com Render Elements no After Effects ou no Photoshop, pois todos os detalhes de luz, sombra, reflexos e refrações estarão nos Elements, portanto, basta compor na ordem certa e aplicar os filtros corretos.
Basicamente vai colocar a imagem do Diffuse primeiro, depois vai colar em cima o passo de iluminação usando o filtro Multiplier, em seguida o Ambient Occlusion com Multiplier também, depois o GI com Overlay, por fim os passos de Reflection, Refraction e Specular usando o modo Screen.
Desta forma a imagem será gerada igual a imagem renderizada, agora, se um objeto não está na cena, ele não vai produzir o reflexo e a refração, então, não vai estar no passo do Refraction e não vai aparecer na composição.
Por isso que é melhor renderizar com tudo junto, assim, as coisas vão refletir e refratar em tudo igual acontece na realidade, deixar muita coisa para fazer na composição complica a vida e facilita o erro, já que precisa ter um olho muito bem treinado para ajustar a perspectiva e a exposição do background de acordo com o resto da cena se deixar para colocar o Background apenas na composição.
Muitas imagens bonitas que você vê na internet aparecem estranhas para quem tem o olho bem treinado justamente por causa da diferença de perspectiva e exposição do Background.
Eu sugiro que coloque o Background na cena 3D e renderize junto se quiser que reflita e refrate com realismo em todos os objetos da cena.
Lembre-se sempre que quem domina bem um renderizador 3D consegue tirar a imagem com total realismo direto do 3ds max e o máximo que precisa fazer na pós-produção é ajustar exposição e contraste, com isso, termina o trabalho muitas horas antes de quem só consegue boa imagens com muita pós-produção.
Por isso eu sugiro que você foque seus estudos e esforços na renderização 3D.
Para simular a refração do Background na composição terá que usar a técnica de Displacement ou Normal Map que citei antes, usando uma máscara para constrangir o efeito apenas nos objetos desejados, assim, poderá distorcer o Background onde estão estes objetos.
Abraços e tudo de bom.
André Vieira