Oi Macfabiano, tudo bem?
Não é boa idéia usar o Rounded Corners, porque não fica bom se o raio for muito grande, só fica bom em raios pequenos e a sombra não respeita essa curvatura, é uma ilusão criada com Bump nas quinas.
O ideal é modelar realmente a curvatura nas quinas dos objetos, no Max 9 fica ainda mais fácil de fazer isso com o recurso de Segments do Chanfer, permitindo criar cantos arredondados sem problemas.
Com certeza absoluta os frisos não ficaram visíveis porque o Radius o Final Gather está grande demais, pode ser que resolva apenas ajustando o Min Radius, mas pode ser necessário abaixar um pouco o valor do Max Radius também.
Mas tem como fazer o que você quer, é raro não ter como fazer algo no Mental Ray.
Só que é arriscado mexer nisso se não tem experiência, pode ter que reinstalar o Max.
Você precisa editar o arquivo de Shaders do Mental Ray para habilitar o Rounded Corner separadamente.
O Arch%Design é uma biblioteca especial do Mental Ray, chamado de Mia, porque é um material monolitico, não é um Phenomena, que tem o prefixo Mib.
Então, vai precisar editar essa biblioteca especial que se chama Architectural.MI e fica dentro da pasta Mental Ray>Shaders_Standard>Include.
Você deve encontrar o GUI do mia_roundcorners e apagar a Tag Hidden que aparece nas declarações do Shader.
É bom fazer uma cópia deste arquivo antes de editar, se fizer coisa errada nele, estraga o Mental Ray.
Quando abrir o Max novamente vai aparecer o Mia_Roundedcorners entre os Shaders disponíveis para o Mental Ray, use-o no canal Bump do material para fazer o mesmo que ele faz no Arch&Design.
Abraços