Oi Massaranduba, tudo bem?
Especificamente sobre a sua pergunta, qualquer imagem ampliada perde qualidade, você precisa renderizar com a resolução adequada para onde vai usar.
Se for para ver em tela Full HD, 1900 x 1200 está bom, mas se a tela for 4K ficará ruim, pois precisaria ter 3840 x 2160.
Se for para impressão tem que calcular a resolução correta de acordo com o tamanho que deseja imprimir.
Agora, também pode ser falta de Antialiasing se algumas áreas da imagem aparecem serrilhadas.
Se postar a imagem eu posso falar com certeza se é falta de Antialiaing.
Sobre o Mental Ray, eu concordo plenamente com o que o pessoal disse, não vale a pena usar o Mental Ray mesmo que tenha muita experiência nele, pois a diferença no tempo de renderização é absurda!
Uma cena que leva 1 hora para renderizar no Mental Ray faz em menos de 3 minutos no V-Ray atualmente, a distância é tão grande que a melhor coisa que pode fazer é estudar um pouco do V-Ray.
Não é difícil, igual acontece no Mental Ray, as configurações serão sempre as mesmas e depois que pegar o jeito, vai usar apenas o Noise Threshold para controlar a qualidade final em relação ao tempo de render.
O VRayMtl também é bem parecido com o Arch&Design, a única grande diferença será para criar materiais translúcidos, o resto é tudo igual.
De qualquer forma, se renderizar no Mental Ray com o FG diferente do Draft, vai esperar uma eternidade!
A técnica mais rápida é habilitar o Ambient Occlusion nos materiais dos objetos para criar o sombreado detalhado e usar o FG no Draft apenas para suavizar o GI do Diffuse Bounces.
Fazendo assim vai ganhar muitas horas de renderização.
Abração e tudo de bom.
André Vieira