Oi Jéssica, tudo bem?
A sua configuração parece estar igual a minha, a única diferença é que você adicionou diretamente os Nodes para aplicar os mapas de Bake em vez de criar uma função, mas dá na mesma, o resultado era para ser idêntico.
Note que a mesclagem através do valor é feita por meio de multiplicação das cores, então, as cores mais claras serão alteradas e as mais escuras não, pois colocamos este valor apenas para inverter usando 0 ou 1.
Agora, a máscara por meio de imagem funciona melhor porque é através do Alpha em vez da multiplicação, então, onde for branco na imagem vai aparecer um dos materiais, onde for preto vai aparecer o outro e nos tons de cinza haverá uma mistura suave entre os dois.
Eu sugiro que faça um teste removendo os mapas de Bake, deixando apenas a máscara aplicada no Alpha do Blend Material Attributes, como mostra a imagem em anexo.
Assim, tem que funcionar perfeitamente quando aplicar uma imagem em preto e branco, como mostra a outra imagem em anexo.
Se não funcionar, por favor, me envia o seu projeto pelo We Transfer para poder analisar, assim, te falo exatamente onde está o problema.
Abração e tudo de bom.
André Vieira