No mental ray vc pode simplesmente usar a opção \"rounded corners\" do material arch&design.
Já no vray para se conseguir o efeito de rounded edges é preciso usar o Vrayedgestex no canal bump, mas eu sempre achei que isso não funcionava 100% pq só da o efeito nas quinas dos objetos e não na intersecção deles como visto na minha primeira imagem.
No link abaixo tem uam imagem de exemplo de rounded edges do material do Modo 601, que eu não seu pq não consegui upar aqui pro forum de jeito nenhum e tive que usar o Imageshack.
http://img211.imageshack.us/img211/6127/roundeintersection.jpg
Esse efeito na intersecção dos objetos eu acho muito legal e fiquuei triste por não conseguir ele com o Vray, mas eis que eu estou peranbolando pelo help do vray e encontro essa informação sobre o VRayColor2Bump :
\"This texture allows you to derive a bump map from any 3ds Max color texture. It is useful in case you want to apply f.e. a Color Correction texture to your bump map. It can also be used together with the VRayDistanceTex texture to produce \"rounded\" corners at intersections of two meshes.\"
http://www.spot3d.com/vray/
\\o/
O problema é que eu não sei como fazer, alguém tem alguam idéia de como fazer isso?