Oi Felix, tudo bem?
Tem várias versões do Illustrate 5.3, tem para Max 5, para Max 6, para Max 7, porque faz tempo que ele não é atualizado.
Tem que ver se essa sua versão do 5.3 é mesmo para Max 6 e 7 ou é para o Max 5.
Depois de instalado aparece a opção Illustrate no menu superior, do lado do Help, é lá que está quase tudo do Illustrate.
Agora, veja só, se for para render tipo Cartoon, ele é obsoleto, porque no Max já tem recurso de sobra para isso, no render padrão mesmo, como o Rogério indicou, usando o Mental Ray então, tem muito mais recurso que o Illustrate.
Só vale a pena usar o Illustrate se você está querendo exportar para SWF ou AI.
Abraços