Perguntas similares:

*Como melhorar a qualidade dos reflexos?

*Porque os reflexos ficam sem Antialiasing?

*Porque espelhos e cromados ficam serrilhados?

Resposta:

O mapa ou o material RayTrace tem que traçar raios para calcular o reflexo dos objetos ao redor, ele faz esse cálculo por pixel sem nenhuma filtragem, então, os pixels ficam muito nítidos por não receberem nenhuma suavização. Você resolve este problema aplicando um filtro de Super Sampling no material, tanto o material Standard como o material RayTrace tem o menu Super Sampling, basta desmarcar a opção Use Global Settings e marcar a opção Enable Local Super Sampler. O filto padrão é o Max 2.5 Star, que é muito bom e pode ser usado na maioria das situações, mas o melhor é o Hammersley, só que também é mais demorado. Quando habilitar o Super Sampling do material, o render vai demorar mais, portanto, habilite-o apenas no render final.
Veja também a FAQ ?Porque as texturas ficam serrilhadas no render?, onde eu explico o problema de Gobal Super Sampling.