Perguntas similares:

*Porque fica serrilhado atrás de vidro ou água?

*Porque as texturas ficam serrilhadas atrás de vidro ou água?

*Porque o vidro e a água ficam sem Antialiasing?

Resposta:

O mapa ou o material RayTrace tem que traçar raios para calcular o reflexo dos objetos ao redor e a refração dos objetos que estão atrás, ele faz esse cálculo por pixel sem nenhuma filtragem, então, os pixels ficam muito nítidos por não receberem nenhuma suavização. Você resolve este problema aplicando um filtro de Super Sampling no material, tanto o material Standard como o material RayTrace tem o menu Super Sampling, basta desmarcar a opção Use Global Settings e marcar a opção Enable Local Super Sampler. O filto padrão é o Max 2.5 Star, que é muito bom e pode ser usado na maioria das situações, mas o melhor é o Hammersley, só que também é mais demorado. Quando habilitar o Super Sampling do material, o render vai demorar mais, portanto, habilite-o apenas no render final.
Veja também a FAQ ?Porque as texturas ficam serrilhadas no render?, onde eu explico o problema de Gobal Super Sampling.