Cara! Mantenha esse tipo de modelagem. Modelagem detalhada é sempre bem vindo, sempre.
O cálculo de FG depende da complexidade da cena, quanto mais objetos mais demorado será o calculo obviamente.
Com aberturas alguns photons podem acabar saindo e se perdem no espaço da Viewport, mas não chega a ser nada drástico. O cálculo de photons demora muito mais quando vc tem uma luz tipo daylight do lado de fora, por exemplo, e quer habilitar essa luz externa para emissão dos photons. Grande parte desses photons nem penetram para o interior do ambiente ocasionando muita perda pela viewport e, com isso, demora no calculo.
Uma coisa que é impotante também. Algo ou objeto que não irá aparecer na visão da cena ou não irá influenciar em nada, não há necessidade de ficar modelando tal objeto. Modele detalhadamente, mas aquilo que irá influenciar de alguma forma na visão da cena.
Outra coisa: objetos que ficarão ao longe não precisa ter muitos detalhes por os tais nem serão notados.