Oi Marilene.
Vou colar abaixo a resposta do André.
------------------------
Oi, tudo bem?
Eu nunca usei o AR Toolkit, mas já exportei em VRML para outras aplicações.
Que eu me lembre, é importante usar apenas material Standard e manter as texturas na mesma pasta que está arquivo 3D.
Se não me engano, também não aceita texturas em certos formatos de imagem, tente com formatos antigos como BMP e GIF.
Mas creio que o AR Toolkit aceita texturas em JPG, então, pode ser que precise reaplicar as texturas em JPG depois que importar nele.
Existem outras aplicações de AR que oferecem Plug-ins para exportação direto do 3ds max como o ARMedia.
Nesta página estão todas as notícias que publicamos sobre realidade aumentada: http://www.tresd1.com.br/noticias/busca/Realidade+Aumentada
Abração e tudo de bom.
André Vieira