Oi Leonardo, tudo bem?
Eu não baixei as texturas para ver porque o arquivo era muito grande, mas como foram criadas no Substance Designer e eu conheço os mapas que ele gera por padrão, imagino que não tenha os mapas de Glossiness das texturas e no lugar tenha os mapas de Roughness.
Neste caso você pode marcar a opção Use Roughness no menu BRDF do VRayMtl e assim poderá aplicar o mapa de Rougness no Slot RGlossiness do material, como mostra a imagem em anexo.
Outra opção é você inverter a textura clicando na opção Invert dentro do menu Output do mapa Bitmap do 3ds max, onde carrega a textura, pois o Rougness é o oposto do Glossiness.
Quando tiver o mapa Metalic o ideal é usar o VRayBlendMtl para mesclar dois materiais diferentes, um metálico e outro não, onde o mapa Metalic será usado como máscara no VRayBlendMtl.
Se tiver uma dúvida específica sobre algum dos mapas, poste uma imagem de exemplo dele aqui que dai eu posso te falar para o que serve.
Abração e tudo de bom.
André Vieira