Anti-Aliasing, também conhecido pela abreviação AA se refere ao sistema de suavização dos pixels da imagem, pois como a imagem digital é gerada por pequenos quadradinhos contendo apenas uma cor, ou seja, os pixels, a divisão entre a borda de um objeto para outra cor diferente fica muito brusca apresentando o efeito característico de serrilhado.
Normalmente os testes são feitos com baixo AA, pois ganha tempo de render e permite uma boa noção de como ficará a imagem, enquanto que, no render final as configurações de AA são aumentadas para gerar uma imagem suave.
O AA atua sobre toda a imagem, portanto, também ajuda a suavizar outros efeitos além do serrilhado, como reflexos e refrações borradas, sombras suaves, texturas, Depht of Field e tudo mais.
No Scanline, render básico do 3ds max, as configurações de AA estão na aba Renderer.
No Mental Ray também está na aba Renderer dentro do menu Sampling Quality. Basta aumentar o valor do Minimum e do Maximum para suavizar a imagem, normalmente com 1 no Minimum e 16 no Maximum é o suficiente. Ao lado você pode escolher o filtro de suavização, por padrão vem com o Box, que é o mais rápido, mas também o menos preciso. Em imagens para impressão é mais indicado usar o filtro Lanczos, em imagens para animação em vídeo e cinema é mais indicado usar o filtro Mitchell.
Você ainda pode configurar o AA pela barrinha de Presets que aparece em baixo da janela do Frame Buffer, a que exibe a imagem sendo renderizada.