Oi Bloody, tudo bem?
Se é novato siga o conselho do Regis que é a melhor coisa que pode fazer, leia novamente as mensagens deste tópico e veja as dicas que eu e os outros leitores deram, não se guie por quem não tem experiência, porque só de colocar GI na cena é claro que a imagem fica melhor, então de cara a pessoa acha que encontrou a solução para todos os seus problemas, mas vai ver logo que foi justamente o oposto, encontrou uma pedreira pela frente e só tem uma talhadeira para destrincha-la, sem base no programa, sem saber muito bem de luzes, técnias de iluminação e criação de materiais vai apanhar muito no V-Ray, vai encontrar trocentos problemas, esse da qualidade é apenas o primeiro, vai passar mais de um ano perguntando de V-Ray aqui, pode ter certeza.
De qualquer forma vou responder sua pergunta, a qualidade da imagem é definida no menu AntiAlias, estou sem nada instalado na minha máquina e não vou saber falar exatamente o nome do comando, mas deve ser o Fixed, ele é a primeira opção do menu de AntiAlias, vai estar com valor 1, deve colocar 2.
Abraços