Vc realmente vai precisar melhorar a qualidade do light cache se quiser sumir com essas manchas. Se não pode eu recomendo trocar o light cache pelo brute force, vai perder um pouco de luz na cena mas deve sumir com as manchas.
E talvez se tirar o HDRI e usar um vraysun com vraysky fique mais fácil para ele calcular o GI, tem que testar pra ver.
Um último detalhe, eu reparei que também tem umas manchas em baixo da mesa, também é sinal de light cache com baixa qualidade. Infelizmente o light cache vai gerar esse tipo de falha em detalhes pequenos se não tiver uma boa qualidade, por isso nesses casos o mais simples é partir pro brute force.
Qualquer coisa coloca umas imagens da configuração do GI para vermos como melhorar.