Olá designathan, seja bem vindo ao fórum 3D1.
Você não está fazendo nada de errado. O que ocorre é que na região citada há muitos triângulos e isso está impedindo uma boa suavização da malha. Isso acontece porque quando uma malha é suavizada/subdividida, os polígonos são divididos em quatro partes e, em geral, os polígonos triangulares não respondem bem a essa divisão.
O que você deve fazer: usando as ferramentas de modelagem poligonal do software em questão (acredito que 3ds Max), modifique a estrutura daquela região. Tente transformar aqueles triângulos em quads (polígonos de quatro lados), isso vai ajudar muito no resultado da suavização. Na Internet, existem bons tutoriais gratuitos falando sobre topologia (estrutura poligonal de um modelo) e as boas práticas de modelagem por subdivisão. Aqui mesmo no site da 3D1, na seção Tutoriais, você encontra diversos tutoriais sobre o assunto.
Abraços e bons estudos.