E ai Marco, blz, então, os testes que eu fiz foi com o sistema de iso surface do vray, ele é bem simples e fácil de usar.
O vray não trabalha com sistema de shaders da mesma forma que o mental ray trabalha. Então o painel de controle do iso não fica nos materiais como o do mental.
Já o mental ray usa um shader a parte, ele não vem no mental. Esse shader foi desenvolvido primeiramente pro xsi. Mas qualquer software que use mental ray o shader pode ser adaptado.
No Caso do mental ray o solid volume (shader que faz o iso surface) fica dentro do editor de materiais, e seus parametros de configuração são bem mais complicados (tanto que a maioria não esta conseguindo usar), ele é bem mais robusto que o do vray, podendo conseguir resultados bem melhor.
O grande problema das iso surface são que, quanto menores e mais detalhadas forem as formas, mais pesado e absurdo se torna o render.
No caso vc mencionou a necessidade de fazer cerca viva, isso pode ser tornar bem inviável de ser feito com iso surface pelo peso do render, dependendo da configuração que vc usar. Então para isso a melhor alternativa é usar o particle flow pra distribuir folhas em uma superfície. Ou ainda usar o Ivy generator.
http://www.3dtotal.com/team/Tutorials_3/video_particlefoilage/foliage.asp