Oi Sander, tudo bem?
É bem mais simples, não precisa de tudo isso.
Cria um Plane, aplica um material nele igual usava no render padrão para fazer isso, ou seja, coloca preto em Specular Color, aplica o mapa com a imagem colorida no canal Diffuse e aplica a imagem branco e preto no canal Opacity.
Zera os canais Specular Level e Glossiness, para o brilho não delatar a simulação.
Pronto, não precisa de mais nada e vai funcionar perfeitamente, inclusive com sombra tipo Area de luzes MR e de luzes Photometrics.
Agora, para ficar ainda melhor, pega a imagem colorida e copia para o canal Bump, pois o Mental Ray tem um Bump muito aprimorado, deixando a árvore mais natural.
Se quiser que os Planes não recebam sombra deles mesmos, então, desabilite a opção Recieve Shadows em vez de Cast Shadows, porque eles devem gerar sombra nos demais objetos, até para fazer uma simulação do sol durante o dia com o Daylight, ou coisa parecida, se está usando um Plane no piso com opacity para simular a sombra, que é o que parece, também daria certo, mas não é a melhor opção, é melhor a sombra ser de verdade.
Abraços