Opa, obrigado Feitosa.
Eu realmente não entendo algumas coisas que acontecem. Em testes leves, pequenos, tudo funciona bem, quando usamos em uma cena pesada, surge uma série de problemas. Eu tentei animar esses valores que você citou, XYZ, mas na minha cena não consegui animar esses valores, e o engraçado é que quanto mais eu me aproximava do valor zero, mais o objeto com o controlador se aproximava do primeiro frame, ou seja, da sua posição inicial. Na verdade enquanto eu ia descendo o valor de 100 para zero, ia apenas se mexendo o objeto, quanto eu chegava ao valor de 1,6, ele ia se aproximando da primeira posição, lá mesmo na posição onde ele estava, destorcendo todo o personagem. Agora fiz um teste com modelos simples e aparentemente funcionou perfeitamente.
Também tive problemas em desligar o specular de uma photometric light em um objeto reflexivo com um material Arch e Design. Em pequenos testes não tenho problema, agora na minha cena completa tive... A solução foi mover a luz para não refletir no objeto.