Oi Bruno, tudo bem?
Realmente não tem nada haver com o formato da imagem.
Essa linha branca na borda tudo bem, dependendo a forma que salvar, não vai entender bem o fundo Alpha e vai criar esta linha branca onde os objetos encontram o fundo.
Mas essa linha preta no meio do objeto, isso não pode acontecer de forma alguma, muito menos no Scanline, que é o render padrão.
Muito estranho mesmo, mas como eu não uso mais o Scanline desde o Max 4, pode ser que seja mais um bug do Max 9.
Como o Mental Ray é um troço a parte, não tem os mesmos bugs do Max e não deu o problema.
Agora, sobre a questão de salvar sem alpha, você fez muito bem, basta escolher TGA 24 bits, pois com 24 bits você só consegue guardar 3 canais de cores, ou seja, o RGB.
Para guardar mais um canal de cor, no caso o canal Alpha, precisa de mais 8 bits, formando uma imagem de 32 bits.
Por isso que usa 32 bits quando precisa do Alpha e 24 bits quando não precisa.
Mas se salvar com alpha, marque a opção Premultipled Alpha, só essa opção, para mesclar o fundo com o Alpha, caso contrário, em alguns programas não vai reconhecer e vai aparecer o contorno branco.
Se for usar no Combustion para composição de vídeo, não marque o Premultipled não, porque ele entende isso e fica muito melhor sem o Premultipled.
Abraços