Oi Abílio, tudo bem?
Se o material Substance pede imagens dos Bakes, realmente vai ter que somar a imagens dos Bakes no tamanho do projeto no Unreal, mas é o projeto que está na HD, os Bakes não vão para a memória, só as texturas dos Outputs.
Então, para produzir uma aplicação interativa iria fazer diferença no arquivo final, deixando ele maior, mas para renderizar imagens e animações não faz diferença, pode usar o que for mais prático para você.
Sobre a resolução das texturas, não é bom exagerar em nenhum ponto, muito pelo contrário, temos sempre que economizar o máximo possível em tudo como sempre foi, mas também não pode deixar a resolução baixa a ponto de perceber os Pixels.
Numa imagem estática você pode economizar bastante aplicando texturas com resolução menor nos objetos distantes e com resolução maior nos próximos.
A memória nunca será lotada pelas texturas a não ser que você defina para usar tudo que tem com elas, mas obviamente não é boa idéia, porque ele precisa de espaço para todo o resto.
A memória das texturas é conhecida como Texture Streaming Pool Size, quando você ultrapassa o limite definido o Unreal vai degradar as texturas para se manter dentro do limite e continuar em Real-Time.
Você pode aumentar o valor do Texture Streaming Pool Size, mas sugiro que não ultrapasse 2500 na sua placa que tem 6GB, se tiver muitos objetos na cena é melhor não passar de 2000.
Estes tutoriais ensinam a alterar o Texture Streaming Pool Size:
Sobre DLSS, que eu saiba, no Unreal funciona também na renderização, mas não sei como faz, pois nunca testei.
Não sei dizer o quanto ele amplia, se não me engano renderiza em HD e amplia para 4K.
Também não sei o máximo que permite, mas duvido que passe de 8K.
Abração e tudo de bom.
André Vieira