Oi Neosmar, tudo bem?
Eu não sou a melhor pessoa para te ajudar com detalhes específicos do V-Ray, o Juliano Kloss e o Cleber Machado podem ajudar melhor.
Mas os recursos que controlam o Antialiasing no V-Ray ficam nos menus Image Sampler, Image Filter e no menu de configurações mais abaixo na primeira imagem em anexo que muda de nome conforme escolhe Progressive ou Bucket no Image Sampler.
Uma das coisas que influem na suavidade da imagem é o filtro de Antialiasing, no caso o Lanczos é bem nítido, então, se trocar para o Mitchell a imagem ficará mais suave, por exemplo.
Outra coisa que influi na qualidade do Antialiasing é o Subdivisions do Image Sampler, valores maiores deixam mais suave mas demoram mais para renderizar.
Porém, tem um princípio muito importante na renderização que se não for respeitado causará serrilhados e nada vai solucionar em nenhum render.
Os renderizadores usam o contraste entre os pixels para aplicar o Antialiasing, então, em áreas onde o contraste é pequeno eles suavizam para não ficar serrilhado, mas em áreas onde o contraste é forte eles não suavizam para não borrar os detalhes.
Portanto, se criar luzes com intensidades irreais e elas produzirem reflexos muito fortes nos objetos, estas áreas de reflexo não serão suavizadas de forma alguma, mesmo que coloque tudo sobre o Antialiasing no máximo!!!
Sendo assim, se está se referindo ao serrilhado nos brilhos do carro, é quase certeza que a luz está forte demais e a exposição da câmera baixa demais, então, nenhum recurso vai resolver, a única solução é ajustar a intensidade das luzes e a exposição da câmera.
Sobre o Denoiser, ele é usado para reduzir o granulado nas imagens renderizadas pelo sistema Progressive, você encontra ele dentro da aba Render Elements, clicando no botão Add, como mostra a segunda imagem em anexo.
Neste link está a documentação do V-Ray sobre o Image Sampler:
https://docs.chaosgroup.com/display/VRAY3MAX/Image+Sampler+%7C+Anti-AliasingAbração e tudo de bom.
André Vieira