Você pode resolver isso controlando o material individualmente, com o VrayOverrideMtl, vá até o material editor, selecione o material (que seria o material que você não quer que irradie a cor) e clique para pegar um novo material, selecione VrayOverrideMtl na lista e ele vai te dar a opcão de descartar o material ou manter o material original(Discard Old Material ou Keep old Material as Sub-Material)
Clique na segunda opcão e aperte OK.
Agora você pode controlar todos os slots separadamente(GI, reflect, refract, shadow) O material que precisa ser usado para "corrigir" o color bleeding é o GI material. Você clica no slot na frente dele e cria um vray material. No slot diffuse, coloque uma cor mais clara que a cor do diffuse, ou até mesmo um cinza.
Existem outras opcoes, mas esta é mais indicadas por permitir controle individual.
Abraco, espero ter ajudado