Vc precisa conhecer bem os parametros do renderizador que usa para saber como otimizar para renderização. Não é necessário conhecer todos, mas aqueles que vc vai precisar usar.
evite aumentar muito os valores de SAMPLES da reflexão, refração ou sombras difusas (borradas) e, lembre-se, que o AA (antialiasing) também ajuda na suavização de toda a imagem retirando os granulados, além do serrilhado, então vc pode diminuir um pouco mais nos SAMPLES de reflexões e sombras difusas.
Os serrilhados em imagens pequenas costumam ficar mais evidentes do que em imagens grandes. Isso porque o serrilhado permanece do mesmo jeito, porém em relação a imagens maiores que ele ficou menos evidente (menor). Nisso pode diminuir um pouco mais nos valores do AA, mas nem tanto porque como já disse ele influencia na suavização de sombras e reflexões difusas (borradas) também.
só mais uma questão:
o V-RAY ADVANCED só renderiza via CPU.
o V-RAY RT que renderiza via GPU.