Olha, pela experiência que eu tive posso dizer que pra ter um bom desempenho no iray somente as novas GTX 600, pena que o iray ainda não aceita as benditas, tem que esperar pela boa vontade da Autodesk disponibilizar uma atualização pro MAX 2012/2013 pro iray reconhecer e usar o potencial das nova arquitetura Kleper.
Tenho uma GTX 560 com 2GB de memória, ela tem 336 cores cuda e posso dizer que pra grande maioria das cenas de interior, uma placa com 2GB dá conta de renderizar, pois testei ela numa cena interna com quase 4K de polygonos e algumas texturas bem pesadas, toda a geometria, texturas e o render, a placa ocupou aproximadamente 1.2GB, ainda sobraram 800mb, ou seja, dava pra usar numa cena maior ainda.
Com relação ao desempenho dessa GTX 560, ela ainda deixa a desejar, isso usando pra render no iray, nesse caso o mental ray é bem mais rápido, nessa cena de interior, o mental ray renderizou em 1:07hr em resolução 1920x1080, daí deixei exatamente 1:07 no iray pra ver o que ele fazia nesse tempo, e realmente a cena ficou ainda muito granulada, outros testes que eu tentei fazer, deixando por bem mais de 1hr no render com o iray, o max deu problema e fechou, ainda não sei dizer o que aconteceu, provavelmente seja a temperatura da VGA que subiu muito na hora do render e fechou o MAX.
Pra se ter um comparativo entre a minha CPU e a GTX 560, a CPU é um i7 3770K com 16GB DDR3 /1333MHz.
As novas GTX 600, além de ter uma quantidade enorme de cores cuda (o que diferencia muito na velocidade do render), elas tb tem uma dissipação térmica melhor, ou seja, esquenta menos e consome menos energia. Uma GTX 670 com 4GB, ela tem 1344 cores cuda, contra os 336 da minha GTX 560, a diferença é exatamente 4x a mais, além do clock da 670 ser maior ainda.
Acredito eu que com uma VGA dessas, daria pra renderizar a maioria das cenas de arquitetura internas e externas, é claro, cena muito pesada, com milhões e milhões de polys ainda não será possível, só mesmo placas com 6GB ou mais, mas aí é coisa para um futuro não muito distante.