cara, meus conhecimentos em vray são bem fraquinhos, mas pelo que vejo em dezenas de parametros como esse em outras áreas, a melhor opção é a adaptative, por que ela se adapta às necessidades do desenho, encontrando as áras que mais necessitam do antialiasing. ja a fixed rate, se nao me engano trata o desenho todo da mesma maneira, sendo que muitas vezes pode se desperdiçar processamento em áreas que não precisam. sei lá, é uma hipotese, posso estar até falando besteira, mas estudei um pouco de radiosity e mental ray , todos eles tem parametros semelhantes a esse, so testando mesmo vc verá se uma opção é mais vantajosa que a outra (custoXbeneficio).
um abraço!!!