Cara, a sua linha de estudo é a pior que eu já vi, vc vai ter muitos problemas assim.
Porque vc muda de render como muda de roupa, quer fazer um projeto sem ter a devida base no max, ai fica apanhando com coisas bobas. Trocar de render não vai reslver os seus problemas, vai criar outros!!!
O certo era desligar o mental ray e o v-ray e estudar o max, deixa o seu projeto de lado por enquanto e leia todos os tutoriais do site, depois vc volta a fazer o seu projeto usando o scanline.
Ninguém que não conhece o scanline está habilitado a usar mental ray ou v-ray, se não conhece nem o max, imagine só.
Mas respondendo a sua pergunta, o v-ray tem o menu de antialiasing também logo no início da janela dele, tem lá adptative sampler ou coisa parecida, é só aumentar o valor igual no Mental Ray que fica suave.