As cores ficaram mais vivas justamente por causa do contraste, pois além de deixar a diferença entre cores claras e escuras, de uma imagem, maior também altera um pouco as cores deixando-as mais vivas.
AO é um recurso que simula o GI (iluminação global) por meio de sombreamento ocludindo os objetos mais escondidos da cena fazendo também com que os detalhes da cena sejam mais visíveis.
Mas no seu caso aí acho que AO simplesmente não resolva muito, pois seria mais adequado se as pessoas fossem modelos 3d mesmo. O jeito é achar algum tutorial que mostre como inserir imagens de pessoas em maquetes e simular as sombras de forma que fique aceitavel.
aqui nestes links vc pode saber mais sobre AO
http://www.tresd1.com.br/imagens/tutoriais/12(20).jpg
http://www.tresd1.com.br/imagens/tutoriais/13(16).jpg
http://www.tresd1.com.br/imagens/tutoriais/14(16).jpg
este AO é do material Arch Design do Mental Ray. No V-Ray o recurso fica na seção Indirect Illumination da janela do V-Ray Render.
O parametro Samples, no V-Ray, é o Subdivs (tanto no AO, materiais e luzes).