E aí! HE!HE!
na aba v-ray> nas opções de v-ray image samples (antialiasing)
image sample
type: fixed, adaptive DMC, adaptive subdivisions.
O fixed (brute force) é o mais fácil de se usar, porém torna o tempo de render mais demorado pelo fato d\'ele usar o AA configurado em toda a cena (há lugares da cena que não necessita de AA aprimorado, mas mesmo assim ele vai usar). Este método só se torna conveniente usar quando a maior parte (%) da cena tiver muitos detalhes.
Para configurar o fixed vá em v-ray fixed image sample onde há o parametro subdiv: deixe com valor 4 (dependendo da cena talvez poderá aumentar este valor).
adaptive DMC se adapta de acordo com a necessidade da cena renderizada. Ele irá usar o valor mínimo nas áreas que necessitem menos de AA e usará valor máximo nas áreas que necessitem mais de AA. Este método é bom para cenas \"meio termo\" que tem partes com muitos detalhes e que tem partes com poucos detalhes (+-) na mesma proporção.
A configuração fica em v-ray adaptive DMC image sample (min subdivs e max subdivs). Tente estas configurações: min subdivs: 2 e max subdivis: 4
adaptive subdivisions é uma forma um pouco diferente das outras duas primeiras aí de cima. Para simplificar, ele se adapta mais em cenas com poucos detalhes (cenas com objetos poucos detalhados).
Os parâmetros de configuração dele fica em v-ray adaptive subdivision image sample (min rate e max rate).
Como eu não sei muito sobre o funcionamento dele não vou postar aqui, mas sei que este método é bastante rápido em relação aos outros dois, mas lembrando que ele é bom para cenas com puocos detalhes.
obs: o tipo de filtro (antialiasing filter) acho que se usar o v-ray lanczos ou Area deve ser o suficiente. Não esqueça de marcar a opção on para ter acesso aos filtros.