Fala, Bruno, blz? Pelo que eu percebi na sua imagem, você já conseguiu texturizar e ativar o displacement do Mental Ray, o que já é metade do caminho andado. O seu problema está sendo em configurar a resolução do displacement, vou tentar te ajudar.
Primeiramente, existem 3 coisas que interferem na resolução final do displacement:
1 - ajuste correto do mapa utilizado no canal do displace (preto e branco)
2 - quantidade de subdivisões do plane no qual você aplicou o material
3 - ajustes do Displacement do MR que pode ser encontrado nas propriedades do render (Displacement Global Settings) ou nas propriedades do objeto, na guia mental ray (que vai valer somente para aquele objeto específico e não para toda a cena como o primeiro).
Agora você deve verificar cada uma dessas propriedades do seu teste para encontrar o problema. Vou ajudar com algumas dicas:
1 - Que mapa você está usando para gerar o displace? Seja ele um bitmap ou um mapa procedural do MAX, verifique se ele está com o tamanho ajustado corretamente no seu plane para gerar grama fina o suficiente. Uma dica é criar um novo material com uma instância desse mapa no canal diffuse, aplicar no objeto e renderizar pois alguns mapas procedurais do MAX podem não ser mostrados corretamente nas views, mas somente após renderizar.
2/3 - Deve haver um equilíbrio entre o número de subdivisões do seu plane e das subdivisões do displace do mental ray. Nos tutoriais que você utilizou, deve ter visto algum comentário sobre isso. O ideal é utilizar mais subdivisões no plane para não precisar aumentar tanto o Max Subdiv do dispalcement do mental ray e não sobrecarregar seu render. A única maneira de entender como funciona é testando.
Desative o Smoothing no Displacement do mental pois ele vai suavizar as pontas da sua grama e prejudicar o resultado final, que deve ser justamente o contrário nesse caso. O parâmetro Edge Length define o tamanho mínimo da subdivisão que aparecerá na sua imagem em unidades de pixels. Então se você colocar um milhão de subdivisões na plane e setar o Max Subdiv no máximo mas deixar o Edge Lenght em 5 pixels, seu resultado será grosseiro de qualquer forma.
Deixe esse seu plane com 50x50 subdivisões e coloque o MaxSubdiv em 1K, Edge Length em 1.5, Max Displace na altura máxima que você permite para sua grama e renderize. Se o resultado estiver ruim, aumente o MaxSubdiv para 4K e renderize novamente, e assim por diante até conseguir um resultado que te agrade. Quando conseguir, anote os valores que utilizou e dessa vez vamos fixar o MaxSubdivid em um valor mais baixo qual você encontrou. Agora varie a quantidade de subdivisões, 50x50, 70x70, 100x100... até encontrar um resultado bom (cuidado para não travar sua máquina, pode usar outros recursos de subdvisão que não aparecem na view ou ativar o "display as box" no plane, fica a seu critério). Depois compare os tempos de render, pode ser que não dê diferença significativa devido ao tamanho do seu plane, só testando para ver, essa é a idéia.
É isso, espero ter ajudado, poste seus resultados aí depois. Abraço.