Erlon,
Em primeiro lugar, você deve se perguntar se essa máquina é só para estudar ou se vai ser usada para games também.
Se for só para estudar e trabalhar com 3D, recomendo uma Quadro por serem placas projetadas especificamente para esta finalidade. Já se for rodar alguns jogos também, recomendo fortemente a GeForce GTX.
O que muita gente não sabe é que uma das grande diferenças entre placas da família GeForce e placas da família Quadro está na transmissão de dados. Enquanto as placas GeForce possuem alto desempenho em transmissão interna, as placas Quadro têm o seu ponto forte na transmissão externa, ou seja, entre a placa de vídeo e a placa-mãe.
Quanto ao modelo, se fosse partir para uma GeForce eu compraria um modelo GTX da série 400 ou 500, por oferecerem suporte às tecnologias modernas. Já se fosse uma Quadro, compraria uma da série Fermi (Quadro 600, Quadro 2000, Quadro 4000, ...) também por oferecerem suporte às tecnologias mais recentes e por possuírem memória GDDR5 (com exceção da Quadro 600 que usa memória GDDR3).
Mas há uma outra questão a se pensar. Se você pretende utilizar renderizadores por GPU (iray, VRay RT, Octane, etc...), acho uma boa idéia optar por uma GeForce GTX. Digo isso porque nos renderizadores por GPU o que conta mesmo é a quantidade de núcleos CUDA. E, nesse quisito, as placas da família GeForce oferecem uma melhor relação custo-benefício. Há algumas desvantagens em se utilizar placas para games (NVIDIA GeForce, ATI Radeon) em renderizadores por GPU, sendo uma delas a questão do superaquecimento da placa. Ultimamente, alguns artigos têm aparecido na web, falando sobre esse assunto.
Abs,
Chris Rezende.