Oi gente, tudo bem?
O certo de fazer este efeito é em composição mesmo, porque tem mais controle sobre tudo.
Mas pensando no 3ds max e no Mental Ray, a primeira coisa que precisa lembrar é que o Mental Ray é um render fisicamente correto e o Scanline não, então, as gambiarras que o Scanline aceita nem sempre serão aceitas pelo Mental Ray.
No Mental Ray tem que pensar da mesma forma que aconteceria na realidade.
Se um objeto tem reflexo, seja no nível que for e fica transparente, o que acontece?
Ele vira um vidro super reflexivo, porque vai refratar toda a transparência e os dois lados do objeto, que passam a ser visíveis por causa da transparência.
Então, nunca vai dar certo animar a visibilidade do objeto num material reflexivo.
Tem que animar o reflexo e a transparência do material para controlar o nível de reflexo de acordo com a transparência.
Quando o objeto estiver com baixa visibilidade ele não pode ter reflexo, caso contrário ele ficará super visível, como um vidro e não como um objeto invisível.
Abraços