Oi Anderson, tudo bem?
O certo é fazer o oposto, usar o VueXStream e renderizar as cenas do Vue dentro do 3ds max, assim, poderá usar tudo dele, com materiais dele, animações dele e renderizar com o Mental Ray com a mesma perfeição que consegue no Vue.
Porque 3DS é um formato limitado, não vai aceitar materiais complexos como tem no Max, vai aceitar apenas materiais Standard com configurações simples, não vai aceitar mapas procedurais e nem todos os canais de materiais.
Para exportar com texturas precisa ter apenas 8 caracteres no nome das texturas, pois 3DS é um formato antigo, é do 3D Studio para o sistema operacional DOS.
As texturas nunca fazem parte do arquivo, devem ser colocadas na pasta de texturas do outro programa para poder ler.
Mas como disse, o certo é fazer o oposto, abrir as coisas do Vue no Max.
Abraços