vlw.
então, ambient occlusion é um recurso que ajuda no realismo, é complicado explicar de uma forma bem didática o que ele faz... mas basicamente ele ajuda a calcular a influência do ambiente em um objeto, principalmente em regiões com ângulos muito acentuados, como chamfros e cantos com ângulos em 90º...
bom, não sei se deu para entender, mas vc testando vai ver bem a diferença.
Eu não uso nem nuca usei v-ray, então nao posso dizer, mas é bem simples vc fazer em mental ray, o AO é feito separado e depois mesclado no photoshop.
http://www.tresd1.com.br/conteudotutoriais.php?t=27912
dá uma olhada nesse tuto do andré q vc vai entender, tem uma parte que fala do ambient occlusion, ok?
qlqr dúvida é só perguntar.