Oi japapopo, tudo bem?
Seja bem vindo ao nosso site, espero que goste e participe bastante com a gente.
Sobre a sua dúvida, para um render ficar realista depende basicamente de 4 coisas, uma é a modelagem bem detalhada, a outra é a criação de materiais realistas, a outra é uma boa iluminação e por fim depende de dominar e configurar corretamente o render.
O Mental Ray é um dos dois melhores renders do mundo e permite todos os tipos de efeitos imagináveis e não imagináveis em 3D, só que no AutoCAD ele está meio aleijado.
Porque a parte mais poderosa dele não está disponível, que são os Shaders, e o editor de materiais do AutoCAD é muito ruim e limitado, não tem como criar materiais realistas nele.
Portanto, o Mental Ray do AutoCAD só serve para obter visualizações um pouco melhores do que antes, com efeito de GI, não permite fazer nem 10% do que pode fazer com o Mental Ray no 3ds max.
O ideal é exportar sua cena do AutoCAD para renderizar no Max, o resultado será muito melhor.
Mas sobre as suas configurações, eu concordo com o Múcio, tem muito pouco Photons na cena, no Max usamos 10 mil para teste e você indica que está usando apenas 500.
O Max Depth, Max Reflection e Max Refraction tem que ter pelo menos 5 em cada um.
Já os Radius, tanto dos Photons quanto do Final Gather, dependem puramente do tamanho dos objetos da cena.
Na sua cena eu usaria um Radius em torno de 1/3 da espessura do Box cinza na imagem.
Abraços