Oi Vieira, tudo bem?
Não me leve a mau, por favor, mas se ainda não sabe nem carregar o renderizador, eu acho que pode não ter a base necessária para estudar isso ainda.
O Max não é um programa simples, sem a base necessária para avançar em cada etapa, se torna quase impossível, porque vai passar anos apanhando de coisas simples.
Normalmente se estuda tudo do renderizador padrão, todos os recursos e janelas de renderização, sem falar nos materiais e luzes, além de técnicas de iluminação em 3D, para só depois partir para um renderizador profissional.
Se não sabe nada disso, vai ter que aprender junto com tudo que tem de novo no V-Ray, ai fica impossível.
Mas, de qualquer forma, respondendo sua pergunta.
Basta acessar o menu Assign Render na janela Render Scene e clicar no botão na frente do item Production Render, assim abre uma janelinha com os renderizadores disponíveis, se o V-Ray foi instalado corretamente, ele vai estar lá, clicando sobre ele o render é carregado.
Suas configurações aparecem na ficha Renderer dessa mesma janela.
Abraços