Só pra acrescentar ao que ja foi comentado, o irradiance é uma solução interpolada, ou seja, faz uma média dos samples. O resultado é que sempre terá um desfoque na solução do irradiance, portanto ele não gera granulação, apenas manchas quando estiver com baixa qualidade ou muitos detalhes pequenos na cena.
Granulado da sombra em geral está ligado com o subdivis das luzes, o default é 8 e o ideal depende do tamanho da luz, quanto maior for a luz mais subdivis ela vai precisar.
E é correto usar o color mapping em linear e o gamma em 2,2, só tem que marcar a opção don't affect colors e ligar o gamma do max como mostra nessa imagem abaixo, suas cores parecem um pouco lavadas, deve estar faltando alguma coisa aí no ajuste de gamma.