Olá Willfant,
Ambos são eficazes e eficientes, e servem para todos os tipo de trabalho.
O V-Ray é o queridinho do mercado de maquetes eletrônicas e visualização de produtos. Já o mental ray é preferido no mercado de animação, seja para curtas animados ou comerciais de TV. Há também várias empresas que usam Renderman e o recente Arnold (da Solid Angle).
Em determinadas situações, o V-Ray costuma ser mais rápido. Em compensação, o mental ray tem o costume de travar menos por ter um cógido-fonte mais robusto. Então, cabe a você testar os dois renderizadores e ver o que lhe serve melhor em cada situação.
Eu sempre usei o mental ray, mas estou começando a estudar o V-Ray por este estar ampliando seu espaço no mercado. Recentemente fiquei sabendo que diversas empresas estão adotando o V-Ray.
Em geral, a diferença entre esses dois renderizadores está em quem os usa. Quem faz o espetáculo é a equipe envolvida. Hardware e software são só as ferramentas.
Abraços e bons estudos.