Oi Wilson, tudo bem?
Eu não sei se entendi bem, mas veja só.
Realmente perde qualidade quando aumenta, porque o programa não sabe a cor dos pixels novos que são criados e estima, deixando a imagem "pixada".
Agora, quando diminui a imagem, esse problema não acontece, porque não são criados novos pixels.
Só que são retirados muitos pixels, então, é impossível manter a mesma resolução, é até um contra senso falar isso, em diminuir a imagem e manter a resolução.
Porque se a imagem será diminuida, ela terá menos pixels, se tem menos pixels, tem menos resolução.
Numa imagem com detalhes muito finos, certamente serão perdidos ou apresentarão defeitos, porque alguns pixels serão retirados.
Você pode usar filtros do PhotoShop para diminuir este problema, como o Unshap Mask, mas certamente vai perder qualidade e resolução, já que terá menos pixels.
Se é uma textura de piso, mantenha a mesma resolução e aumente o ladrilhamento no U e V Tile, assim, ela vai ter boa resolução de perto e ficará boa vista de longe também.
Abraços