Caro candido3d,
Quanto ao seu problema de tela azul, meu palpite é que ele não está sendo causado por sua placa de vídeo. Até mesmo porque se fosse, teria que acontecer com as demais versões do 3ds Max. Faça o teste com versões mais recentes do software (2013, 2014, 2015). Se o problema persistir, então pode ser sim algo relacionado à sua placa de vídeo ou ao driver da mesma.
Já na questão do driver de API (OpenGL, DirectX, Nitrous), o que eu posso dizer é o seguinte: Nitrous é o driver de API mais recente e mais constantemente atualizado pela Autodesk em parceria com a NVIDIA. Então esse é um driver de maior abrangência, bastante compatível e otimizado para as placas da família NVIDIA GeForce, principalmente da série GT e GTX. OpenGL é mais voltado para placas gráficas especificamente projetadas para softwares 3D, ou seja, NVIDIA Quadro e AMD/ATI Fire Pro. DirectX é um driver que eu indicaria para quem usa as placas da família AMD/ATI Radeon, ou então, para quem possui uma placa de vídeo mais antiga.
Um último adendo: se você acha que a NVIDIA está com \"fama negativa de tela azul não só para usuários 3D\", espera até começar a usar as placas da AMD/ATI Radeon. Aí você vai ver o que são bugs e travamentos.