Oi Anonymumm, tudo bem?
Não pode usar um objeto côncavo, tem que ser um objeto convexo e sem interpenetrações, portanto, não pode ser um Torus porque vai dificultar muito para ele sem necessidade e não pode ser uma estrela porque tem interpenetrações e vai dar problema nas colisões.
Entretanto, poderia ser um Dodecaedro ou um Icosaedro, mas tem que aplicar o Tessellation nele para poder usar, porque precisa ter bastante vértices para poder deformar, não pode ser o Turbo Smooth porque ele vai tentar suavizar as quinas, enquanto que, o Tessellation permite aumentar a resolução sem arredondar os cantos, como mostra a primeira imagem em anexo.
Eu fiz alguns testes com outros Presets de tecidos e com configurações manuais, notei que não pode ser um tecido super duro igual o Heavy Leather e não pode ser um tecido super mole igual o cetim, um tecido com valores intermediários entre os dois cria mais cantos vivos, como mostra a segunda imagem em anexo.
Também fica melhor quanto mais vértices tiver no objeto, só que dai demora mais na simuação.
Depois que vi a sua mensagem fiz um teste com um Dodecaedro subdividido com o Tessellation, ficou com mais cantos vivos como mostra a última imagem em anexo.
Mas ficou muito facetado, então, no final eu apliquei um TurboSmooth com 1 no Interations para suavizar.
Abração e tudo de bom.
André Vieira