Tanto nessa nova cena que vc usou quanto na outra não precisa de dois renders (colorido e AO), porque se habilitar o AO e exact AO do arch design já fica certo e seria desperdicio fazer dois renders (pois ficaria uma imagem com AO em cima de AO caso faça os dois renders).
Para melhorar o serrilhado coloque min: 1/4 e max: 64, se houver pouca melhora, aumente o min: para 1 (quanto maior o valor no min: e max: maior será o tempo de render - tente usar sempre nas suas cenas valores no min: entre 1/4 a 1 e max: entre 16 a 64)
Há um video gratuíto aqui na tresd1 que ensina tudo sobre ant-aliasing no mental ray tentei acha-lo aqui, mas não consegui.
O use Fallof é para cenas externas e limita o FG economizando tempo de render, mas em cada cena é uma configuração diferente (vc tem que fazer uma medição de toda a cena), então desabilite-o.
Se vc está querendo passar a parte do fundo da grama para frente e a parte da frente para o fundo, possivelmente o problema não será resolvido, pois sendo a configuração da grama o mesmo para o fundo e para a frente, não irá mudar nada se trocar de lados. O que pode ter acontecido, é pelo fato da grama do fundo ficar mais distante, com as configurações utilizadas ficou melhor pra essa parte do para a parte da frente.
E fí? Essa árvore aí tem como vc me passar o link do tutorial?