Cara, tinha a mesma dúvida aqui no 3DS e perguntei pro André.
Olha a resposta dele:
"Este realmente é um problema, eu não sei o que fizeram a partir do Max 6 que começou a ficar assim.
Até o Max 5 você podia salvar em JPG a partir do Max que ficava perfeito, como quando salva com High Quality no PhotoShop.
Mas a partir do Max 6 eu não sei se eles trocaram o filtro de JPG ou se foi alguma outra coisa, mas é impossível salvar com qualidade neste formato.
Tem que salvar em TGA ou TIF para ficar com boa qualidade, até PNG.
JPG não tem condições, a não ser que salve num destes formatos citados acima e depois salve em JPG no PhotoShop, assim manterá a qualidade."
Então é isso salva em PNG, TIF ou TGA.
Abre no Photoshop e Salva em JPG, fica perfeito independente da resolução.
Abraço.