É meio difícil de dizer o motivo do brute force estar tão mais lento que o light cache, mas com certeza ele deve estar com qualidade mais baixa ou tem algum parametro deixando o BF lento.
Em geral eu vejo usarem o brute force no secondary pela simplicidade, é só ligar e renderizar, enquanto o light cache precisa testar os parametros pra ver se não vai aparecer alguma mancha ou perder muito detalhe, logo o tempo que vc perde no render do BF vc ganha no tempo de ajustes.
Por outro lado o BF tem limite nos bounces enquanto no LC ele é infinito até a luz perder sua energia, por isso é mais comum usar o BF em externas e o LC em internas, mas sempre depende de cada um. Ja vi caras que não largam mão do brute force do primary bounce porque não quer perder nenhum detalhe, vi uma vez o Alex Roman comentando que usa Brute Force com Light Cache nos seus filmes, sacrifica o tempo de render mas tem aquele detalhe que todo mundo conhece.
Sobre usar o irradiance em menor resolução, é como o kornlu falou, usando o max em -1 ou -2 ja esta reduzindo a resolução que ele calcula pela metade ou em 1/4, melhor usar essa opção do que forçar um calculo em resolução mais baixa.
Só pra lembrar, com o irradiance vc pode sempre usar uma qualidade mais baixa quando subir a resolução, ja que ele automaticamente vai adicionar mais detalhes. Com o light cache é o contrário, se vc aumenta a resolução vc também precisa aumentar o subdivis dele ja que será necessário traçar mais raios, tudo isso está explicado no help do vray.