Oi Abílio, tudo bem?
Sobre a diferença entre subdivisão e Voxels, depende de onde está falando, mas se for em Mesh, a subdivisão divide cada polígono em 4 em cada interação, enquanto os Voxels geram Boxes minúsculos em todo o volume do objeto e onde os Boxes interseccionam com a malha ele cria um novo polígono.
Sobre o uso de dois materiais no mesmo objeto, é só criar uma imagem em preto e branco e aplicar no Alpha do Blend, assim, onde for preto vai aparecer o primeiro material e onde for branco vai aparecer o segundo.
O Color To Mask é uma opção que oferece várias máscaras no mesmo Node, pois pode usar cores em vez de preto e branco, mas daria para fazer igual encadeando vários Blends com imagens em preto e branco no Alpha.
Certamente ficou serrilhada a sua máscara porque a resolução da imagem da máscara é muito baixa ou porque as faces do objeto estão muito pequenas na área do UV.
Outra opção seria definir IDs diferentes nas faces do objeto, igual acontece no 3ds max quando aplica dois materiais no mesmo objeto, você tem que selecionar as faces que deseja aplicar cada material, assim, as faces que recebem um mesmo material possuem o mesmo ID e vão aparecer como um material diferente no SDesigner ou SPainter, mas tem que fazer essa definição no seu programa 3D antes de exportar em FBX.
Neste caso não dá para fazer transição suave, vai ter uma divisão bem drástica e nítida entre os dois materiais.
Não entendi sobre a sombra que falou.
Na renderização a sombra aparece por causa das ondulações do material e do Displacement na parte de tijolo, mas na textura final do Base Color não terá sombra alguma.
Sobre suavizar a transição, tem que aplicar um HD Blur, assim, vai borrar a imagem e também a transição.
Sobre múltiplos materiais em canais UV, uma coisa não tem nada haver com a outra.
Você pode ter múltiplos canais UVs e aplicar o mesmo material em todos, pode ter múltiplos canais UV e aplicar um material deferente em cada UV, pode ter múltiplos UVs e múltiplos materiais em cada UV, também pode ter um único UV e múltiplos materiais nele, não importa, uma coisa não interfere na outra.
Sobre o Blend, você pode misturar qualquer material usando qualquer imagem em tons de cinza, não importa se ela vai estar no mesmo UV ou em outro, só importa a imagem.
Acontece as vezes de você criar um outro canal UV apenas para a máscara que vai usar como Blend ou a textura que vai usar como Displacement ou Roughness, pois o mapeamento das texturas comuns não é adequado para a máscara de Blend ou o Displacement que deseja aplicar, mas se não tiver este problema é melhor e mais fácil fazer a máscara no mesmo UV.
Sobre selecionar os padrões, a única forma de selecionar elementos numa textura, ou seja, numa imagem, é através de máscaras, pois não são objetos 3D separados!
Abração e tudo de bom.
André Vieira