Oi Raphael, tudo bem?
A partir do Max 2017 que começaram os problemas, na minha opinião o 3ds max 2017 é a pior versão de todos os tempos.
Agora, sobre o problema com o V-Ray é estranho, pois em teoria era para o V-Ray funcionar exatamente igual nos dois, só vai fechar mais no Max 2017 porque o Max é ruim, mas o resultado da imagem não pode ser diferente.
Então, a primeira opção é verificar se a configuração do Gamma do seu 3ds max está certa, pois vai dar diferença na claridade da imagem se estiver errada.
Você acessa estas configurações no menu Rendering > Gamma/LUT Setup, elas devem estar iguais as mostradas na primeira imagem em anexo com 2.2 no Gamma.
Outra coisa que pode influir na intensidade da iluminação é a escala que está trabalhando no Max, se estiver numa escala muito pequena as luzes ficarão muito intensas e se estiver numa escala muito grande as luzes ficarão fracas.
O ideal é configurar as unidades do 3ds max como mostra a segunda imagem em anexo.
Você acessa estas configurações no menu Customize > Units Setup.
Tem algumas configurações do V-Ray que também mudam a claridade da iluminação se não estiverem iguais nas duas versões do 3ds max.
Uma delas é o 3ds max Photometric Scale dentro do menu Global Switches e a outra é o Color Mapping, ambas na aba V-Ray como mostra a primeira imagem em anexo.
Só que estas configurações do V-Ray são salvas com o arquivo, então, se abriu o mesmo arquivo que renderizou direito numa versão, ele vai estar com as mesmas configurações que definiu e dai só pode ser alguma coisa no Max.
Sobre trocar de programa para modelar, a vantagem de quem usa o V-Ray é justamente poder trocar de programa e manter o mesmo renderizador, inclusive as mesmas cenas se salvar em VRayScene.
O SketchUp não vale a pena porque ele só faz parede, porta e janela, não faz simulação de tecidos, não tem Hair and Fur, partículas, física para encher recipientes e tal, então, é um programa muito limitado.
Se você usa o 3ds max apenas para modelar e renderizar, não tem muita diferença de qual versão está trabalhando, pois faz 10 anos que tem as mesmas ferramentas de modelagem e o Render é sempre o V-Ray ou Corona.
Então, pode continuar com o Max 2016 por um bom tempo, pelo menos enquanto o V-Ray tiver suporte para ele.
Neste meio tempo você pode ir estudando o Blender, que é de graça e vai oferecer os recursos que precisa para fazer qualquer coisa que faria no Max, além do Unreal, é claro.
Dai você poderá fazer uma pipeline com o Blender para modelagem e animação, o Unreal para renderização Real-Time e por Ray Tracing com o V-Ray, ainda poderá oferecer projetos interativos e em realidade virtual em vez de apenas imagens e vídeos.
Desta forma você só pagará pelo V-Ray para o Unreal e ainda terá mais produtos no portifólio para oferecer aos clientes.
Abração e tudo de bom.
André Vieira