Oi gente, tudo bem?
Sobre a questão de aplicar efeitos de desenho no PhotoShop, realmente depende de uma grande combinação de filtros e as vezes da habilidade manual mesmo da pessoa, com uma tablet por exemplo.
Mas uma dica legal é pegar Actions de PhotoShop para ver como a pessoa fez o efeito.
Action é um arquivo que a pessoa grava com todas as ordens e configurações dos filtros para gerar determinado efeito.
Você pode usar para reproduzir o efeito, mas também pode usar para aprender como fazer o seu.
Aqui na seção Diversos da 3D1 tem um monte de Actions para baixar, tem umas 3 ou 4 para transformar imagem em desenho, entre outros efeitos.
Clica no botão DIversos do Menu superior do site e clica na seção Actions.
Sobre a questão da textura quadriculada, depende de que quadriculado está falando.
Se estiver falando que aparece a emenda da textura quando ela é ladrilhada, então, é como o Kaue disse, precisa tratar a textura no PhotoShop para ladrilhar perfeitamente sem aparecer a emenda.
Mas se está falando que a textura fica com baixa qualidade, aparecendo os quadrados que formam a imagem, ou seja, os pixels, ficando "Pixada" como a gente fala, então, é justamente porque não ladrilhou a imagem.
Fez uma imagem muito pequena para aplicar numa área muito grande ou está com a câmera muito próxima, nestes casos precisa fazer uma textura com mais qualidade, uma textura muito maior, com muito mais pixels, assim, não ficará "pixada".
Ou então, se for uma textura pequena, ela tem que ser ladrilhada, aumentando o valor de U Tile e V Tile no menu Coordinates dentro do mapa Bitmap, assim, ela vai ser repetida lado a lado ficando menor no objeto e sem o "pixado", mas se não estiver preparada para isso, vai aparecer a emenda como no caso anterior.
Abraços