Oi Rafael, tudo bem?
Se você está iniciando nos estudos do Mental Ray e de efeitos avançados de iluminação, eu sugiro que você inicie pelo GI.
Porque Caustics depende de algumas circunstâncias para acontecer. Depende do material, da luz e do objeto estar habilitado para gerar Caustics.
A mensagem de erro no Photon Map aconteceu ou porque o objeto não foi habilitado para gerar Caustics, isso é feito na ficha Mental Ray dentro da janela Properties, ou então o material do objeto não está adequado para gerar Caustics, ou ainda, a luz não está iluminando o objeto que gera Caustics.
Normalmente é um destes 3 problemas ou os 3 que fazem dar essa mensagem quando estiver gerando Caustics.
Nestes dois tutoriais eu explico como configurar o Photon Map e o Final Gather para gerar GI, vai te dar uma noção melhor sobre Photon Map.
Os links para os tutoriais são estes:
http://www.tresd1.com.br/artigos.php?t=15640
http://www.tresd1.com.br/artigos.php?t=16300
Abraços