Marco, quando uma imagem fica serrilhada, em qualquer renderizador que usar, é porque tem alguma configuração errada no que é chamado de Anti-Aliasing (ou Anti-serrilhamento). Mas pra saber qual configuração será boa pra sua imagem, precisamos saber o que exatamente você está renderizando. De acordo com suas necessidades serão necessárias configurações diferentes. Por exemplo, se estiver renderizando um objeto com pontas quadradas, por exemplo uma caixa, um bom filtro de AA (Anti-Aliasing) é o Catmull-Rom porque ele acentua as extremidades. É recomendado para imagens still. Se for para animação aí já é recomendado outro filtro porque teria que ser mais suavizado. Quando uma imagem não é bem suavizada para o vídeo, acabando dando batimento e outros defeitos no vídeo. Mas aí já é outra questão.
Espero ter ajudado.
Always Outnumbered, never outgunned!
3daulas.wordpress.com - Em construção.