Olá André, tudo bem e voce?
Quando colocamos o filtro Ray Trace, ele desliga automaticamente as funções de Rasterização, então é muito fácil alternar entre os dois sistemas, porem não da para usar os dois sistemas no mesmo render e ao mesmo tempo.
Para render de imagem, da para fazer dois renders, um em cada sistema e depois na pós produção fazer a junção do melhor dos dois sitemas.
Imagino que todas essas questões de limitações do Ray Trace deva ser resolvidos em breve, que eu saiba a equipe de desenvolvimento está trabalalhando em ritmo acelerado pra acertar isso.
Abraços