Oi Runners, tudo bem?
A sombra Shadow Map é criada por uma imagem, então, se a imagem é muito pequena, ela tem que ser ampliada e os pixels ficam muito visíveis, como você está vendo na sua sombra, por isso que são quadradinhos, são os pixels.
Se você quer a sombra borrada com Shador Map, então, deixe assim e aumente o Sample Range, ele vai deixar o mapa borrado, criando sombras suaves.
Se você quer a sombra mais certinha, com pouca difusão, então, aumenta o Size como o ejemcg falou, neste caso pode deixar o Sample Range com 4.
Leia esse tutorial que você vai pegar todas as manhas das sombras Shadow Map e Ray Trace.
Ray Trace é particularmente importante com o Mental Ray.
Abraços