Oi Creedence, tudo bem?
Você já leu os dois tutoriais sobre o Reactor aqui ou só leu o do Cloth?
Porque os macetes para configurar a cena adequadamente para o Reactor simular eu expliquei no primeiro tutorial.
Ele fala para você que os vertices estão se interpenetrando de acordo com a tolerância a colisão.
Se a tolerância estiver muito alta, mesmo que os vértices fiquem distantes, ele vai identificar como colidindo, porque está dentro da tolerância a colisão.
Dá uma lida lá no tutorial, está na primeira página da seção Tutoriais>3ds max avançados.
Sobre o mapeamento, você deve fazer antes de qualquer coisa, enquanto a roupa ainda está plana, isso no Reactor é um pouco difícil, no Modify Cloth é mais fácil.
Então, depois da roupa modelada, aplique o mapeamento e deixe como desejar, já com textura e tudo, só depois que vai aplicar os modificadores do Reactor e fazer a simulação.
Essa roupa deve estar em LowPoly, ou seja, com poucos polígonos, não deve ser super carregado de faces, porque fica difícil calcular, também não pode ter muito pouco, porque ficará sem qualidade.
Depois da simulação pronta, você aplica o modify Turbo Smooth sobre o tecido, assim, ele vai subdividir as faces deixando o tecido mais detalhado e com mais resolução.
Abraços