Oi Fábio, tudo bem?
O Cleber já te respondeu perfeitamente, então, vou apenas postar a imagem indicando onde fica o Max Depth no V-Ray e te passar algumas dicas sobre o assunto.
Este artefato é comum em todos os renderizadores Ray Trace, pois imagine o que aconteceria se colocasse um Plane na frente de outro com material de espelho, a renderização duraria para sempre!!!
Então, os renderizadores limitam a quantidade de reflexos e refrações para evitar este problema, portanto, é um recurso em vez de ser um defeito, você vai encontrar este recurso com o nome de Max Depth, Max Ray Depth, Max Reflection, Max Refraction e similares nos renderizadores por Ray Tracing.
Depois que chega no limite das reflexões e refrações permitidas, o renderizador aplica uma cor pura qualquer, normlamente preto e chamam de Exit Color em todos os renderizadores que conheço.
No V-Ray você encontra o Max Depth nos materiais, o que é muito bom, pois permite que configure a quantidade de reflexos e refrações por material em vez de ser na cena toda, mas se quiser controlar o Max Depth de todos os materiais de uma só vez você pode habilitar a opção Override Depth na aba V-Ray, dentro do menu Global Switches, como mostra a imagem em anexo.
O Exit Color também está no material, perto da refração e note que você tem o Max Depth para os reflexos e para as refrações, então, neste caso que tem um monte de vidros uns na frente dos outros, precisa aumentar o Max Depth dos reflexos e das refrações.
Por exemplo, se aumentar apenas o Max Depth das refrações, o reflexo das taças no espelho ficará escuro enquanto que as taças em si ficarão claras, mas como vão refratar o espelho, vão refratar a parte escura criando áreas escuras nelas, então, tem que aumentar os dois e isso impacta no tempo de renderização, portanto, aumente aos poucos e vai testando.
Cada taça de vidro na frente de outra precisa de pelo menos 6 refrações para ficar correta, então, se a visão atravessar 3 taças ao mesmo tempo já vai exigir no mínimo 18 refrações, se a vista atravessar 4 taças precisa no mínimo de 24 refrações e assim vai.
O Exit Color pode ajudar bastante na otimização nestes casos, pois se em vez de preto colocar uma cor cinza que se misture bem com as taças, poderá usar um pouco menos refrações e deixar ele aplicar a Exit Color nos detalhes, dependendo da distância para a câmera não vai sentir muita diferença.
Abração e tudo de bom.
André Vieira