Oi Ramon, tudo bem?
É isso mesmo.
O Photon Map considera a cena toda, ele não é view dependent.
Só que apenas o Photon Map não consegue um bom resultado, isso em qualquer renderizador.
O melhor Photon Tracer do mundo é do Mental Ray, e nele também não fica bom apenas com Photon Map.
Então, você vai ter que usar o Irradiance no First Bounce do V-Ray e o Photon Map no Secondary Bounce.
Sendo assim, vai ter que calcular o Irradiance em cada câmera, e o Irradiance que é demorado, o Photon Map é bem mais rápido.
Você poderia usar o Incremental do Irradiance, mas só valeria a pena numa animação, em Still dá na mesma, vai ter que calcular cada câmera.
Agora, veja bem, eu não manjo do V-Ray novo, eu usei muito o V-Ray antigo, e não tinha o Light Cache, esse parece que é um recurso muito legal, mas não saberei falar sobre ele, o Hawf e o Sandro manjam tudo sobre isso.
Abraços