Oi Weberton, tudo bem?
Na primeira imagem, que tem o efeito de Caustics, realmente está estranho, mas na segunda já está melhor.
O efeito de Caustics não está configurado corretamente na primeira imagem, teria que ajustar melhor e ai fica difícil de explicar aqui pelo fórum, eu ainda não publiquei nenhum tutorial sobre Caustics para te indicar, só tem explicação sobre isso no vídeo curso de Mental Ray da 3D1.
Mas a dica mais importante neste caso é aumentar a resolução da malha, isso é muito importante para o Caustics, o resto é apenas uma questão de configurar os Photons corretamente.
E na primeira imagem também falta Antialiasing, porque ficou toda serrilhada.
Na segunda imagem, eu acho que só falta uma luz de verdade, porque parece que só tem uma Skylight ou coisa parecida, não tem uma luz Raytrace de verdade, ou tem?
É muito importante ter luzes de verdade na cena, Skylight é uma luz secundária.
Abraços