Oi Prgdesign, tdo bem?
Passei sua dúvida para o André e a resposta dele está abaixo.
------------------------------------------
Oi tudo bem?
Esse é um assunto difícil de abordar e cheio de minúcias.
Em primeiro lugar eu sinto te avisar que está compondo as imagens de forma errada, do jeito que era há quase 10 anos atrás, quando não existia iluminação fisicamente correta, controle de exposição, Gamma e Linear Work Flow.
Compor dessa forma pode criar artefatos na imagem, principalmente serrilhados, cores escurecidas no Blend de Layers e transparências, bordas escuras nos recortes e erros nas máscaras.
Atualmente as composições são feitas em Linear Work Flow para respeitar a física da iluminação e a matemática dos métodos de mesclagem como Blend de Layers, máscaras e transparências.
O ideal é trabalhar com passos em HDR ou EXR, mas mesmo em TGA, TIF e até JPG, você consegue resultados muito melhores e sem artefados indesejáveis se trabalhar em Linear Color Space, ou Linear Work Flow como o pessoal acostumou a chamar.
Trabalhando desta forma você nunca vai precisar de um passo separado só com as sombras, porque isso não existe, sombra é a ausência de luz, portanto, tem que estar no mesmo passo da luz, pois onde tem luz ficará branco e onde não tem ficará preto.
Quando alterar esse passo na composição, tanto a luz quanto a sombra serão alteradas ao mesmo tempo para manter a correção física da imagem, caso contrário seria o mesmo que usar o recurso Shadow Density das luzes Standard do 3ds max, que acaba com o realismo da imagem, pois trata as sombras separadamente das luzes e cria efeitos completamente irreais, mesmo trabalhando com a técnica antiga sem iluminação fisicamente correta, esse recurso nunca deve ser usado em hipótese alguma, pois a única coisa que atenua uma sombra é a incidência de uma luz, mesmo antes de existir Linear Work Flow, o correto era criar uma luz para atenuar a sombra de outra luz, nunca diminuir a densidade ou pior, trocar a cor da sombra.
Portanto, eu sugiro que reveja as suas técnicas de composição e estude como trabalhar em Linear Work Flow, pois quando aprender a fazer deste jeito, tudo será milhares de vezes mais fácil, tudo dará certo de primeira e nunca vai apresentar artefatos indesejados.
De qualquer forma, se realmente quiser compor do jeito antigo dando chance para ter todo tipo de problema, você pode fazer normalmente com o Mental Ray e o Element Shadow do Render Elements.
Obviamente o passo do Shadows será totalmente preto, pois preto é a cor das sombras e isso não muda nunca em técnica nenhuma!!!
Apesar do passo Shadows aparecer completamente preto, a sombra está lá, recortada em Alpha, basta clicar no ícone do Alpha no Frame Buffer do 3ds max que verá a área das sombras em branco para fazer o recorte em qualquer programa de composição.
Então, basta aplicar o passo do Shadows na composição e habilitar o recorte pelo Alpha para exibir a sombra corretamente.
Abração e tudo de bom.
André Vieira