Oi Frank, tudo bem?
A forma padrão de modelagem no Max é um sistema que chama Mesh, nele modela como se estivesse com uma argila na frente, vai puchando e editando com ferramentas para criar os detalhes que precisa, é bem diferente do sistema usado em programas de CAD, onde o Boolean é muito usado, o Modify Mesh Smooth é para subdividir os polígonos em modelagem Mesh deixando o objeto mais suave, para isso precisa ter uma malha perfeita, se a malha for mau feita o Mesh Smooth cria defeitos, o Boolean não deixa a malha organizada da forma que deve ser, portanto é impossível usar Mesh Smooth sem editar quase todas as faces do objeto.
A única opção seria com o plugin Power Boolean da NPower como o pessoal muito bem explicou, mas mesmo assim não é a forma mais adequada de modelar no Max, o certo é aprender a modelar em Mesh e só usar Boolean quando for indispensável.
Abraços