Oi Rogério, tudo bem?
Trocar de renderizador não é tão simples assim, um render profissional não é igual ao Scanline, que você tecla F9 e renderiza bonitinho, tem trocentas configurações para fazer, tanto na janela de render como em diversas outras partes do programa, como luzes e materiais por exemplo, olha para os painéis de configuração do V-Ray na janela de render que você já vai ter uma idéia da diferença.
Em todos os renderizadores profissionais o Anti-Alias vem desligado, deve ligar e ajustar manualmente de acordo com a sua necessidade, que muda de acordo com a cena.
Se está tendo problemas nessa parte vai apanhar muito do V-Ray daqui para frente, se seguir as sugestões do pessoal vai se sair melhor, estude iluminação padrão no Max, criação de materiais reais, para ter base quando chegar no V-Ray, um render com GI demora pacas, sem base depende de tentativa e erro para acertas suas cenas, só que cada teste pode levar horas se não sabe usar o renderizador, entende o proque fica ruim de usar? No Scanline você testa iluminação mais rapidamente, é muito importante para quando for usar qualquer renderizador profissional.
Abraços