Ai douglas, não existe vídeo com alta qualidade na internet, só tem vídeo de baixa qualidade.
Pra renderizar com alta qualidade é fácil, o Max já faz com alta qualidade, o problema é fazer diminuir isso pra poder colocar na web sem perder muita qualidade.
Eu acho que vc estava renderizando direto pra vídeo e com um codec mau configurado
Renderiza a animação em sequência de imagem TGA, ai sai com alta qualidade, nunca renderiza em vídeo a partir do Max.
Depois que tiver a sequência de imagens em alta qualidade vc abre essa sequência no Max pelo menu Rendering>Ram Player.
Ai vira vídeo, vc manda salvar em AVI e escolhe o codec, configura ele e faz testes pra ver como fica melhor e com menor tamanho.
Ai dá pra tirar várias cópias do vídeo com o codec que quiser e com a qualidade que quiser, porque tem a sequência de TGA.
Se faz direto em vídeo você só fica com esse vídeo e sem qualidade porque foi compressado