Olá Metalbahamuth, tudo bem?
Isso não deveria estar acontecendo. Tanto o autokey como o setkey reconhecem o Custom Attributes.
Eu já fiz vários testes de RIG com Custom Attributes em várias situações diferentes. Em apenas uma destas situações o que você relatou aconteceu comigo. Em todas as outras vezes tudo funcionou corretamente. Quando esse problema ocorreu comigo, eu refiz o RIG e em seguida a animação funcionou normalmente. Eu acredito que tenha sido um bug temporário, porque eu não consegui identificar algum erro, já que refiz o RIG vários vezes para verificar se o erro voltava a acontecer, mas em nenhum momento ele ocorreu, ou seja, tudo funcionou normalmente.
Tenta refazer esta parte do RIG para ver se funciona.