Ae liezao, a minha dica então é pra vc comprar o curso de Mental Ray que tem aqui no site, porque vc tá perdidão nele e procedendo errado na animação.
O BSP 2 é o segundo método de cache do raytrace, ele vem com BSP, até o Max 2008 tem o Large BSP, depois do Max 2009 mudou o nome pra BSP2, ele descarrega a RAM quando chega no limite.
Outro problema que pode estar causando isso é ter colocado um valor errado no Memory Limit, testa com valores baixos, vai elevar o tempo de render, mas evita pau de memória.
Só que o seu procedimento na animação está totalmente errado e nunca vai ficar sem manchas deste jeito.
Porque cenas que tem personagens se movendo tem que renderizar o FG em cada frame.
Não dá pra renderizar o FG antes e muito menos de 10 em 10 frames, não funciona assim, só quando apenas a câmera se move que vc pode fazer isso.
Vc tem que colocar para renderizar sem salvar o FG, antes de cada frame ele vai calcular o FG e depois vai fazer o render.
Se estiver usando Photons, também não pode salvar, tem que renderizar em cada frame.
Isso é básico.
Se ficar com manchas mesmo assim, então é porque vc configurou errado os photons e o FG.
Mas tem que configurar bem errado pra criar manchas, porque mesmo que estiver meio errado o Mental Ray não cria manchas.