Oi Grasiano, tudo bem?
Você salvou o TGA num formato que o Virtual DUB não reconhece, não habilite as opções que não sabe para que servem, porque normalmente a configuração padrão que é a adequada.
Você só precisa escolher a opção 32 bits, o resto deve ficar tudo como o padrão, sem Compress, sem Alpha Split e apenas com o Pre-Multipled Alpha habilitado.
Mas habilitar estas opções não era para dar problema, era para abrir numa boa.
Comigo nunca deu essa mensagem, então, realmente não sei o motivo, estas opções não eram para dar problema, mas por desencargo de conciência, tenta salvar uma imagem sem estas opções e veja se funciona.
Ainda pode abrir pelo Ram Player do próprio Max, como o Leandro disse, é que no Virtual DUB você tem mais recursos.
Abraços