Oi Davi, tudo bem?
Você só usa Software quando tem uma placa de vídeo fraca, porque ai o desempenho das viewports vai usar cálculos do seu processador e da sua memória RAM para dar um melhor desempenho, sem se apoiar tanto na placa de vídeo.
Se tem uma placa de vídeo melhor, tipo GForce 5x para cima, pode usar tanto Open GL como Direct 3D que dá na mesma, o desempenho do Direct 3D é melhor, mas tem mais problemas também, por exemplo, abre a janela de preview da simulação do Reactor com o Direct X como driver de vídeo. O max fecha na sua cara.
Então, para ter menos problemas use o Open GL, se não liga para problemas e quer melhor desempenho, use Direct 3D.
Agora, se tem uma placa profissional igual uma Quadro, não vai usar nenhum dos dois, vai usar o driver exclusivo da placa, que é muito melhor do que o Direct X e o Open GL, porque é baseado no hardware da placa.
No caso da placa Quadro, o driver para o 3ds max é o Maxtreme.
Ele vai aparecer naquele espaço custom, que fica desabilitado quando não tem uma placa assim instalada.
Abraços