Oi WeRx, tudo bem?
Você está correto em tudo que falou, se o material não fosse de vidro poderia fazer desta forma, mas como o Boolean animado vai modificando as faces do objeto durante a animação, os defeitos serão invevitáveis, mesmo se aplicar o Quadify.
Veja como materiais refratários são chatos, mesmo que não alterasse as faces do objeto durante a animação, também daria problema se as faces do furo estivessem sobrepostas, pois o renderizador terá que escolher qual das duas faces renderizar causando Flicker na animação.
Então, sempre que tiver vidros, líquidos ou ambos encostados uns nos outros, você tem que deixar uma pequena distância entre os Meshes dos dois objetos para não dar problema na refração.
Porém, em alguns casos o certo é fazer o Mesh de um penetrar um pouco no Mesh do outro, pois se deixar uma pequena distância haverá uma terceira refração do ar entre as duas peças criando um efeito estranho, enquanto que, quando penetra um no outro acontece apenas as duas refrações, uma de cada objeto.
Isso é mais importante quando tem diferença de IOR entre os materiais refratários envolvidos, no seu caso os dois pedaços são do mesmo tipo de vidro, então, acho que ficará bom se apenas der uma pequena distância entre o furo e a parte furada.
A forma mais prática de fazer a sua animação é criando um retângulo com Shape e o círculo do furo também com Shape, depois, clica com o botão direito em uma das Shapes e escolhe o Convert To > Editable Spline.
Assim, ficará acessível o botão Attach no painel Modify, clicando nele e depois clicando na outra Shape, as duas serão unidas e tratadas como uma só.
Agora você pode aplicar o Extrude para criar a peça com o furo.
Em seguida, faça outro círculo com Shape na mesma posição do anterior, mas levemente menor e também aplique o Extrude.
Desta forma você só precisa animar o valor do Extrude para fazer a essa peça ir desaparecendo durante a furação e não vai dar problema de refração.
As imagens em anexo mostram o passo a passo.
OBS: Note que é mais fácil fazer uma cópia do primeiro círculo antes de anexá-lo ao retângulo como mostra a primeira imagem em anexo.
A última imagem mostra a pequena distância entre o furo e a peça furada.
Se a refração ficar estranha desta forma, é só aumentar um pouco o círculo do furo para penetrar no Mesh da parte furada.
Abraços e tudo de bom.
André Vieira