cara, eu acho que você está muito enganado e precisa ver melhor seus conceitos.
Porque uma textura com 10 mil pixels não é uma textura um pouco maior, é um absurdo, é um exagero desnecessário, é uma aberração se tratando de um carro.
Se fosse o planeta Terra e você tivesse que aproximar muito, ai tudo bem, é aceitável ter que usar uma textura tão grande, mas num simples carro é uma ignorância usar uma textura deste tamanho, porque não vai mudar nada no visual e vai dar problema de memória.
2GB de RAM é para brincar em casa e fazer coisas normais, se você quer fazer um modelo com texturas no tamanho que só a ILM usa, então, vai ter que melhorar muito o seu computador, porque esse ai não serve.
Vai ter que trabalhar em 64 bits e usar pelo menos 10 GB de RAM.
Também é muito ruim usar o Vista, porque ele é ruim até com o word, imagine então com 3D que precisa de tudo da máquina, o Vista come todos os recursos do sistema e não deve sobrar nem 1.5 GB de RAM para o seu render.
Mas por você estar no Mental Ray, tem como usar texturas absurdas como estas que você está querendo usar, só no Mental Ray que dá para usar este tipo de textura e no Renderman, se você tentar usar texturas de 10 mil pixels em qualquer render, vai dar pau.
No Mental Ray você consegue porque pode usar o programa IMF_COPY.EXE para transformar a textura em Mental Ray Map, depois você carrega a textura no material com o shader Texture Lookup, deste jeito ela não será carregada na RAM e será lida a partir do disco, não consumindo recursos e deixando renderizar.
Porque o seu computador não tem memória RAM suficiente para renderizar modelos com texturas deste tamanho, como está falando na mensagem, o problema não é do Max, é do seu computador que não consegue renderizar texturas absurdas como estas.