Oi LG, tudo bem?
O Mental Ray foi criado inicialmente para cinema, então, ele tem filtros mais apropriados para deixar a imagem com aspecto de imagens reais filmadas ou fotografadas.
Veja uma foto ou um frame de vídeo, nunca são muito Sharp, porque fica irreal, fica parecendo ilustração.
O normal é que fique mais suave, para ficar parecido com imagens reais capturadas por câmeras.
Por isso que os filtros dele são de alta qualidade como o Vympel disse, mas não são tão Sharp.
Se você diminuir o valor de Width e Heigh abaixo de cada filtro, você deixa eles mais Sharp, mas se colocar valores pequenos, o filtro para de atuar.
Sobre a questão de renderização estilo Cartoon, seja qualquer tipo, certamente você pode fazer com os Shaders de Contour do Mental Ray, como o Vympel disse.
Eles são aplicados no Slot Contour dentro do menu Mental Ray Connection que aparece em todos os materiais, assim, pode criar o contorno em qualquer material.
Para aparecer o menu Mental Ray Connection, você precisa habilitar o Mental Ray Extensions dentro da janela Preferences.
Abraços