Eu trabalhei em um job que tivemos algo parecido, veja se é isso:
http://www.youtube.com/user/MidiaEffects#p/u/27/2Omedlh7_P8
Posso te dizer que deu muito trabalho, mas começamos com um tecido enrolado e deixamos a simulação desenrolar. Acima de tudo, é extremamente que a escala e os parametros estejam corretos, ou seja, nosso tecido tinha algo como uns 30 metros de comprimento e foi uma simulação bem demorada com varios substeps para o tecido não atravessar. Tem que cuidar bastante o stretch, esse foi um dos nossos problemas, era comum o tecido parecer uma borracha pelo peso dele que fazia ele se esticar muito.
Coloque aqui ou no youtube onde vc esta e o que acontece que o tecido não desenrola? A escala da tua cena esta correta?