odeirzoc, posta uma imagem da viewport com as luzes da cena, ai dá pra gente ajudar melhor.
Se está começando os testes, pega só o ambiente, coloca os móveis em hide, coloca só uma luz MR Area Omni no dentro do ambiente, liga a sombra Raytrace nela e testa os photons.
Ai vai ser mais fácil pra vc pegar o jeito.
É como o Gutão disse, depois que entender ele, nunca mais vai dar essa mensagem de erro.
Quando colocar a luz no ambiente, liga o GI do Mental Ray e não muda nada, faz um render para ver como os photons estão.
Se tudo estiver certo não vai dar mensagem de erro.
Pra configurar melhor a iluminação, coloca material cinza padrão em todos os objetos.
Vc vai ver a cena pontilhada de photons, ai vc vai aumentando o Radius deles até ficarem próximos, depois vc aumenta a quantidade de photons na cena, vem com 10 mil, passa para 200 mil.
Com isso já deve ficar legal, depois vc liga o FG, coloca o preset draft ou low e renderiza, vai ficar suave :)