Oi Maciel, tudo bem?
Eu realmente sinto não saber como te ajudar nesta questão.
Mas se for verdade o que a mensagem está falando, mesmo não dando erro com o V-Ray tem alguma coisa de errado na sua máquina.
Pois 51 GB sendo usados por todas as aplicações rodando é bastante coisa e tem que ver de onde vem, se é apenas do Max tudo bem, pois dai é a cena que é muito pesada, mas é bom ver se não tem outras coisas rodando roubando recursos do PC.
Se você digitar msconfig no campo de busca vai aparecer um programinha, rode ele e entre na aba Inicialização de Programas.
Ali vai listar todos os programas que são iniciados automaticamente quando liga o Windows, você pode desmarcar os que não deseja, como mostra a primeira imagem em anexo, isso as vezes libera bastante recursos.
Na aba serviços aparecem as coisas que estão rodando e você também pode desabilitar as que não quiser, como mostra a segunda imagem em anexo.
Marque para ocultar os serviços do Windows na parte de baixo que dai ficarão apenas os dos programas.
Abração e tudo de bom.
André Vieira