Ola Márcio, cara seguinte sobre o max fecha do nada, pode ser a quantidade de poligonos na viewport, chega uma hora que o pc nao aguenta, ou seja, tem um limite minimo e maximo que cada pc suporta referente a quantidade de poligonos, isso vai depender de cada maquina. Quanto a definição, você tem que dar uma estudada no vray mais a fundo na parte da setagem, já que da para fazer imagens definidas em tamanhos relativamente pequenos, tipo 640x480. Acho que basicamente o problema de sua imagem esta na qualidade final do render que configurou no VRAY. Sugiro dar uma olhada, na guia na SUBDVIS do LIGHT CACHE se vc usa ele, geralmente uso entre 1000 e 1200 para imagem final, e na guias DMC SAMPLER e ADAPTATIVE SUBDIVIS, nessas parte que voce regula a definição do render. Dê uma pesquisada nessas configurações que voce sabera seus comportamentos, era isso.
Abraço
www.behance.net/araujoxyz