Vamos lá, são varias perguntas.
Quando voce renderiza o UVW no max não importa muito o formato por que ele é só referencia, usa TGA, mas pode ser até JPEG o importante é o tamanho, se não vai ter que diminuir muito a textura ou aumentar, faça isso de acordo com as texturas que tiver que aplicar. Sempre tem que ter isso em mente, não existe uma forma de aumentar uma textura e não perder qualidade. Não existe que programa que faça isso com perfeição tem uns que fazem gambiarra.
Quando voce tem objetos muito grandes não adianta não, tem que criar textura enormes e bem mapeadas, a melhor opção e dividir as IDs para evitar isso. Se você não sabe separ as IDs vai nos tutorias na seção de texturização.
Para duminuir a imagem voce deve usar a Interpolação correta para isso, no caso Bicubic Sharper. Voce tem isso nas preferencias e no Image>Image size. Mas se voce vai reduzir muito não tem geito ela vai perder qualidade e vai ficar ilegível.
Espero que tenha te ajudado, qualque duvida é só falar.
Abraço