Oi e.arnold, tudo bem?
O V-Ray tem muitos problemas e é normal acontecer essas coisas, se você pesquisar aqui no fórum vai encontrar milhares de mensagens sobre problemas no V-Ray.
Este que você está relatando é um dos mais comuns e pode ser gerado por vários motivos.
Não sei nas versões mais novas, mas nas versões mais antigas você precisava habilitar o Crop de todas as imagens aplicadas na cena, caso contrário ele dava essas mensagens.
Também é importante que use apenas materiais V-Ray, não pode usar materiais padrões do Max e muito menos o material Raytrace.
Também não pode usar o mapa Raytrace nos materiais, o V-Ray tem seu próprio mapa para Raytrace.
Não creio que o problema seja nas configurações, mas sim no setup da cena.
Tem outros macetes que o pessoal indica as vezes, como habilitar a opção Check Sample Visibility.
Mas eu sugiro que você dê uma pesquisada no fórum pelo sistema de busca do site, assim, vai encontrar trocentos problemas iguais ao seu.
Abraços