Oi marefresh, tudo bem?
Seja bem vindo ao nosso site, espero que participe bastante aqui com a gente.
Precisamos saber qual render está usando para poder te ajudar.
Pela mensagem ele não está tendo memória para fazer o Raytrace, eu imagino que você está usando o Scanline, render padrão do 3ds max e tem muitas luzes com sombra tipo Raytrace na cena, pode ser sombras tipo Area ou Adv Raytrace também.
Se for isso, troque as sombras para Shadow Map, porque está faltando memória para calcular tantas luzes com Raytrace, você pode colocar as luzes mais distantes com Shadow Map e deixar as mais próximas com Raytrace.
Se for outro render, fala para gente que fica mais fácil de ajudar.
Abraços