OI Jennifer, tudo bem?
O Render to Texture é meio complicado no princípio, mas só no princípio, depois você verá que é bem tranquilo.
Mas fica muito difícil de explicar como usar numa mensagem de fórum, precisava de um tutorial.
O melhor material que existe sobre isso está no seu PC, no Help do max, lá explica bem detalhadamente como usar.
Basicamente você adiciona o canal que deseja renderizar de cada material aplicado na cena, nesta definição que você escolhe quais efeitos serão mesclados com as texturas, tem uma lista deles na janela.
Cada objeto deve ter uma textura independente, por exemplo, se tem duas paredes de tijolo iguais, tem que fazer uma cópia da textura de tijolo e criar outro material para aplicar nessa segunda parede de tijolo, porque os efeitos serão mesclados nas texturas, se a mesma textura é usada em dois lugares diferentes, vai dar problema na mesclagem dos efeitos.
Com essas configurações, o Render To Texture vai renderizar a imagem de todos os materiais e vai substituir no Material Editor pela imagem com os efeitos mesclados.
Essa cena pode ser exportada para criação de aplicações interativas em 3D com alta qualidade na texturização, mesclando efeitos de GI, Caustics, sombras e tudo mais.
Abraços