Olha o termo cartoon é algo bem abrangente, eu até sei o que vc realmente quer, mas o termo que vc usaou podese dizer que não é 100% correto. O que vc quer é um renderizador que de um acabamento de 2d nas suas imagens não é isso? Bom free eu não conheço nenhum, mas existem alguns pagos nos mercado, como swift3d, finaltoon, pencil...
Quanto ao que falei do termo cartoon, vou dar um ex. O desenho Jimmy Neutron é cartoon e nem por isso é um render com aspecto 2d.
Se o que vc quer é só esse aspecto de 2d vc pode conseguir com o ink paint do max ou então usando o mapa de Falloff, na 3d total tem um tutorial que mostra como fazer isso.