Olá Felipe,
quando eu falo renderizar os reflexos usando raytrace significa que podemos ter reflexos de duas maneiras: uma é colocando objetos em frente ao vidro como postes, árvores prédios, etc do outro lado da rua, onde a câmera não vê. Desta forma é preciso que haja cálculo de raios (raytrace) do vidro até as geometrias que você usou para fazer o reflexo e isso é mais difícil para o computador calcular do que usando um mapa de imagem no canal enviroment global, na hdri ou mesmo no mapa de enviroment do material do vidro. Desligando o raytrace da ficha renderer você não terá mais indirect ilumination, aí é como se estivesse renderizando utilizando o scanline.
Sobre o uso da imagem, se vc utilizar no enviroment então todos os objetos da cena receberão o reflexo dela. Usando no material, apenas o objeto que tiver o material receberá este reflexo. Só para ilustrar o que estou falando, olha o vídeo que eu fiz deste prédio para um cliente meu. Eu não queria abrir mão de usar o physical sky no enviroment pois eu queria um céu azul padrão mesmo, mas os vidros não estavam ficando bons com um reflexo tão simples. Então usei uma imagem normal, sem ser panorâmica apenas nos vidros. O resultado poderia ter ficado melhor se eu tivesse habilitado o modo spherical ao invés de screen. Perceba como fica estranho quando anima. Se eu tivesse utilizado geometria para fazer os reflexos, acho que até hoje estaria renderizando..rsrs.
abraço!