Oi Serpa, tudo bem?
Existem dois modos diferentes de PBR, um deles é baseado nos mapas Roughness e Metalic, o outro é baseado nos mapas Glossiness e Specular.
Então, quando ver Sets de texturas que possuem o mapa Roughness ou Metalic é porque ele trabalha com o primeiro método e se o Set de texturas conter o mapa Specular ou Glossiness é porque trabalha com o segundo método.
O V-Ray aceita os dois métodos, mas o padrão é o Glossiness Specular.
Estas texturas que estão para download no Share Textures foram criadas para este método Glossiness Specular.
Portanto, basta aplicar o Diffuse no canal Diffuse do VRayMtl, o Specular no canal RGlossiness, o Nomral no canal Bump, mas primeiro precisa adicionar o mapa VRayNormalMap e dentro dele aplicar a textura de Normal, como é comum com qualquer textura de Normal, no final aplica o Displacement no canal Displace, como mostra a primeira imagem em anexo.
Entretanto, o Displace do material não subdivide o Mesh, então, precisa aplicar num Mesh com bastante polígonos para conseguir reproduzir os detalhes do Displacement, eu usei um Plane com 100 x 100 Segments.
Para obter mais detalhes no Displacement é melhor aplicar o modificador VRayDisplacementMod e colocar a textura dentro dele, pois dai vai subdividir o Mesh na hora da renderização e criar detalhes mais finos.
Na segunda imagem em anexo está o teste da renderização.
O AO não costuma ser usado na renderização por Ray-Tracing, apenas em Engines de Games ou renderizadores similares igual o Marmoset Toolbag.
Porém, você pode usá-lo para fazer composições, pois o mapa de AO define as partes mais escondidas do Mesh em Preto e as partes mais acessíveis em Branco, assim, é possível aplicá-lo como máscara para compor duas texturas.
Por exemplo, se aplicar o mapa Composite no Slot Color e dai adicionar a textura do Diffuse, poderá criar um outro Layer com outra textura, no meu caso usei terra, e aplicar o mapa de AO no Mask deste Layer para definir onde terá ou não areia.
Como o mapa de AO define as saliências do Mesh, a textura de areia vai aparecer mais nas partes onde ela acumularia naturalmente, entre as pedras, como mostram a terceira e quarta imagens em anexo.
Sobre a composição no Slate Material Editor ou no Compact Material Editor, tanto faz, os dois são a mesma coisa, mas é mais prático usar o Slate na composição de materiais complexos e o Compact é melhor para configurar materiais simples.
Qualquer dúvida que tiver restado é só falar.
Vou responder sobre o Substance na próxima mensagem para não misturar tudo.
Abração e tudo de bom.
André Vieira