Oi gente, tudo bem?
Essa foi brava, uma imagem com 640 x 480 só pode ser impressa com qualidade a 300 DPI se tiver 5,41 cm por 4,064 cm, vai ficar um horror se aumentar para 12 x 12 cm, que é o tamanho da capa de CD, já que não se pode nunca em hipótese alguma aumentar uma imagem raster.
Sugiro que leia a matéria "Renderizando a 300 DPI" na seção matérias da Três D1.
Como o Testa muito bem explicou, basta um simples cálculo para saber com quantos pixels deve renderizar para imprimir a 300 DPI com o tamanho que deseja.
Como o Sandro também disse, você pode usar o recurso de Print Size, mas neste caso só grava em TIF, se quiser gravar em outro formato tem que fazer o cálculo e colocar os pixels na mão, porque o Max foi feito para animação em vídeo, e não para impressão.
Abraços