Oi Raph, tudo bem?
Depende muito da forma que você usou o HDRI, você pode usar apenas para gerar reflexos ou pode usar para iluminar a cena, ou ambos juntos.
Para gerar essas manchas que aparecem na parte em sombra do telhado, você deve ter usado a imagem HDR para iluminar a cena, neste caso, tem que tomar certos cuidados e seguir certas regras.
Se usar uma imagem HDR em alta resolução para iluminar, vai gerar essas manchas mesmo, porque a diferença de um pixel para o outro será muito drástica.
Para iluminar a cena com HDR você deve usar uma imagem pequena e borrada, assim, conseguirá bons resultados sem ter que aumentar muito a qualidade do render.
Para o reflexo você pode usar uma imagem HDR em alta resolução, porque fica bom e não interfere na cena, vai apenar atuar sobre os reflexos.
Verifique melhor o procedimento que está usando para aplicar essa imagem na cena.
Abraços