Galreg, para usar o caustic vc tem que fazer os vidros emitirem caustic e por padrão todos vem setados para receber, se você não tem objeto que gere caustic é normal dar erro (para fazer isso você clica com o botão direito do mouse sobre o objeto ao qual irá gerar caustic, dai vai em Properties > Mental Ray > Generate Caustics), depois nas configurações do render você ativa o Caustic, dai controla o raio e o numero de phótons. O brilho especular que eu me refiro seria nas bordas dos frascos, onde a luz formaria tipo um faixo branco. Quanto ao AA, tenta usar o Spatial com 0,02 em RGBA, samples em 1/4 - 16 e filtro Mitchell ou Lanczos. A sombra, tente usar uma luz area, tipo MR Area Omni, MR Area Spot ou uma Photometric Free Area, dai nas configurações é só controlar a área e samples. Espero ter ajudado!!! Flw!!!
Site sendo reformulado!!!