Isso é uma coisa chamada Color Bleed, vc tem duas formas de consertar isso, a primeira é como o colega citou acima, vc vai na aba System da janela do render e clique no botão Object settings, se abrirá uma nova caixa e nela vc seleciona os objetos que estão rebatendo as cores e diminui a emissão de GI deles na opção Generate GI, o valor default é 1, vc diminui para 0,5 ou 0,2, faça testes para avaliar qual é o melhor valor.
A outra forma é aplicar um VrayOverrideMtl no material dos objetos que estão causando esse problema, vá no editor de materiais e crie um VrayOverrideMtl, no Base Material coloque o material do objeto, no GI material ponha um VrayMtl com um cinza claro no difuse. A vantagem desse método é que vc não altera a emissão de GI da cena, no primeiro terá que fazer novos ajustes na iluminação.