mostre aí a imagem da HDRI.
Dependendo do ambiente da HDRI, no reflexo ficará gigante mesmo.
dependendo de como é o ambiente da HDRI, tanto na reflexão como na imagem de fundo, irá ficar grande mesmo.
quando vc usa uma HDRI no modo de mapeamento esférico ela irá irá aumentar bastante o seu tamanho (na verdade será esticada na horizontal e vertical) para conseguir englobar toda a cena.
para vc entender melhor o que eu estou dizendo insira uma esfera englobando toda a cena, aplique a HDRI na esfera e veja o tamanho que ficará o ambiente da HDRI em relação a cena.
Se preciso, troque as Normals da esfera para vc ver por dentro dela.