Oi Rogério, tudo bem?
É verdade que este granulado é por causa da sombra, mas é porque está refratando a luz, os Photons se eles estiverem na cena e tudo mais.
Para manter o aspecto da superfície como quiser e tratar apenas as sombras e os photons, você usa o menu Mental Ray Connection.
O Shader Transmat foi feito para tornar alguma coisa invisível para o render.
Então, se aplicar um Transmat no Shadow e no Photons, o vidro ficará invisível para as sombras e para os Photons, permitindo que use menos Samples e mesmo assim não ficará granulado.
Teste para você ver, não mude nada nas sombras e nem no render, apenas coloque um Transmat no Shadow e no Photon de cada material no menu Mental Ray Connection.
Abraços