Oi Alnxp, tudo bem?
Realmente, se você aplicou um Shader na luz ou em qualquer outro Slot do Mental Ray que não seja no Material Editor, você precisa arrastar esse Shader para um Slot no material Editor e escolher a opção Instance, assim poderá ajustar seus recursos.
Existem várias formas de aplicar Ambient Occlusion, essa é apenas uma.
Se você quer um passo de Ambient Occlusion para composição, então, não use na luz, aplique no Slot do Material Override na ficha Processing da janela Render Scene, assim, todos os materiais serão substituidos pelo material de AO na hora do render, saindo apenas o efeito de AO sem misturar com os demais materiais da cena.
Abraços