Ai Mega, um cartoon como esse ai dá pra fazer no Mental Ray mesmo usando o material inkpaint e os shaders de contour.
Pra fazer igual o cenário que mostrou na primeira imagem, também dá, mas com materiais comuns.
Esse aspecto que o cara deu depende da texturização e da config do material, não é um cartoon clásico como faz com o ink paint.
O plug-in que vc fala deve ser o pencil+
Eu nunca usei, vi o exemplo no site quando saiu a notícia e achei muito bom.
Mas muita coisa que tá ali faz com o Mental Ray também.
Vc já viu estes tutos:
http://www.tresd1.com.br/artigos.php?t=21528
http://www.tresd1.com.br/artigos.php?t=23091
Pra modelar o cenário é normal como qualquer coisa no Max.
Ai eu acho que fazem um render grande e usam de BG no jogo, pros personagens ficarem em cima.
Mas se tem visão 3D igual na segunda imagem, ai eu acho que é em tempo real mesmo.
Tem que modelar em lowpoly, fazer boas texturas no PS, fazer bake de texturas pra embutir efeitos, só assim fica bem realista.