Oi Anonymumm, tudo bem?
Segundo as mensagens de erro, o V-Ray não conseguiu localizar o registro ou não foi ativado corretamente e por isso está bloqueado.
Eu sugiro que desinstale tudo e reinstale de novo para corrigir.
Sobre as configurações do renderizador em si, segue as dicas do Fernando que é um grande especialista no assunto.
Quanto menos mexer nas configurações originais do Render, melhor.
Basicamente só precisa diminuir o Max. Subdivs para algo em torno de 24, zerar o Render Time (mim) e colocar 0,01 no Noise Threshold, como mostra a imagem em anexo.
Se precisar de mais qualidade, diminui o Noise Threshold para 0,005 ou menos para ele eliminar o ruído na imagem, o ideal é aplicar o Denoising no Render Elements para ajudar a suavizar.
Se tiver materiais com reflexos borrados pode ser necessário aumentar o Max. Subdivs, para 32 ou mais, mas em cenas simples pode até diminuir para 18, 12 e até 8.
É só isso.
O maior problema que as pessoas encontram na renderização é justamente a configuração dos materiais, como o Fernando disse.
Não adianta iluminar bem e configurar o Render perfeitamente se os materiais não forem bem feitos, leves e realistas.
Isso é uma coisa que depende de prática, mas além da ótima dica que o Fernando te passou sobre o Glossiness, tem mais uma regrinha que precisa seguir, nunca coloque branco puro ou preto puro na cor dos materiais (Diffuse).
Se for branco, coloque 0.9 em vez de 1.0 ou RGB 228 em vez de 255.
Se for preto, coloque 0.05 em vez de zero ou RGB 3 ou 4 em vez de zero.
Assim, sobra espaço no branco para os brilhos e sobra espaço no preto para as sombras, caso contrário, ficam chapados e irreais.
Abração e tudo de bom.
André Vieira