Ola Lucas_castro, apesar do alising estar ligado ele vem com as configurações mínimas. vc precisa alteralas de acordo com sua cena para suavisar o serrilhado. No campo Antialising Filter, escolha a opção "Catmull-rom", essa opção é melhor na maioria dos casos. No próximo menu "Adaptive subdivision image sampler" mude o Max Rate para 8.
Renderize. provavelmente, dependendo da sua cena, iluminação, etc, será resolvido. Caso não, ou se vc quiser entender melhor o funcionamento do antialising e sobre as outras opções veja essa matéria que explica todas as funções do V-ray.
espero ter ajudado
parte 1
http://www.tresd1.com.br/conteudotutoriais.php?t=19967
pqrte 2
http://www.tresd1.com.br/conteudotutoriais.php?t=19989
www.jhomedeiros.blogspot.com