Oi Tirmey, tudo bem?
Eu acho que você faz muito bem de seguir essa linha de estudo, porque vai permitir um domnínio e um controle muito maior sobre o Mental Ray.
Quem parte direto para o Arch&Design se acostuma fácil com ele pela facilidade, igual o material do V-Ray, mas por causa disso não aprende como compor com Shaders e quando precisar, não vai saber fazer.
Até no Arch&Design é importante saber compor com Shaders, porque ele também tem o menu Mental Ray Connection e isso permite fazer qualquer coisa com o material, mas só quem sabe compor com Shaders vai poder usar estes recursos.
Depois que você estiver bem confiante nessa parte de composição de Shaders, ai você pode partir para o Arch&Design para facilitar a sua vida, pois vai ter total controle sobre ele.
Você pode usar Ambient Occlusion com qualquer material, só é mais chato de compor quando você tem que montar um material puro do Mental Ray, porque a Autodesk fez de tudo para facilitar para os iniciantes e complicou muito para quem deseja usar o Mental Ray puro no 3ds max.
Se for fazer com material Raytrace ou Standard, é só aplicar o Shader de Ambient Occlusion no Diffuse.
Assim você terá uma cor de sombra, que normalmente será preta, e terá a cor branca, que pode aplicar outros mapas e shaders para criar a superfície do material como faria no Diffuse normalmente.
Sobre a questão de composição de imagem com passo de Ambient Occlusion, realmente causa muitos problemas, só fica bom quando tem apenas materiais opacos na cena e sem auto-iluminação.
Por isso que é muito melhor compor da forma que eu explico nos dois tutoriais de composição que postei recentemente na 3D1.
Porque desta forma você vai ter tudo separado, então, pode colocar o layer com os objetos auto-iluminados sobre o layer de Ambient Occlusion, não deixando ele estragar os objetos auto-iluminados.
No caso de transparência e translucência, o você pode configurar o Shader para reconhecer transparência, mas neste caso você precisa aplicar em cada material da cena, para ter controle sobre quais materiais vão respeitar a transparência.
Se precisar de qualquer força no curso de mental ray, me manda um email, vou ter o maior prazer em te responder.
Abraços