Oi Jessyca, tudo bem?
Todo material Mental Ray é 2-Sided por padrão, então, se criar um material puro do Mental Ray usando o Mental Ray Material, ele sempre será 2-Sided, ou seja, sempre vai renderizar como se estivesse com o 2-Sided ligado.
Se quiser montar um material que não tenha o 2-Sided ligado, é melhor usar os materiais padrões do Max, que serão aceitos perfeitamente pelo Mental Ray.
Não acontecem as incompatibilidades que você está acostumada usando o V-Ray, então, pode usar todos os materiais padrões do Max sem medo com o Mental Ray.
Mas se quiser montar um material puro do Mental Ray sem a opção 2-Sided habilitada por padrão, você precisa compor com Shaders para contruir esse material.
No Mental Ray as coisas não estão tão prontas, tão na mão, mas é bem por isso que ele oferece toda a liberdade do mundo, pois você pode montar as coisas como quiser, não se limita apenas ao que veio pronto com o Render.
Para montar um material sem 2-Sided é bem simples.
Aplique um Shader Two Sided no Slot Surface do material Mental Ray.
No Front Face você aplica o material que desejar, pode ser um DGS e pode ser um material padrão normal do Max, neste caso precisa usar o Shader "Material to Shader", para converter o material padrão para Shader do Mental Ray.
No Back Face você aplica o Shader Transmat, ele deixa a face de trás invisível e só renderiza a face da frente, como faria o material Standard padrão sem 2-Sided habilitado.
Abraços