Oi Serpa, tudo bem?
Eu não tenho experiência no V-Ray Next GPU para te responder com certeza absoluta, além disso pode ser muitas coisas diferentes, por exemplo, a cena não caber nos 2GBs de memória da sua placa.
O Juliano Kloss tem experiência e postou as configurações que ele usa no V-Ray GPU neste tópico:
https://3d1.com.br/forum/tira-duvidas/perguntas-de-computacao-grafica/101185Não é problema de compatibilidade com a placa, certamente ela aceita renderizar porque a GTX 1050 é baseada em CUDA.
Porém, a GTX 1050 possui menos Cores CUDA do que algumas placas mais baixas como a GTX 970.
No site da Nvidia diz que a GTX 1050 de 2 GB tem 640 Cores CUDA e a GTX 970 tem 1664 Cores CUDA.
Eu não entendo porque fazem assim, pois sempre achei que a numeração maior era garantia de mais Cores CUDA, mas não é.
As especificações da GTX 1050 estão neste link:
https://www.nvidia.com/pt-br/geforce/products/10series/geforce-gtx-1050/As da GTX 970 estão neste link:
https://www.nvidia.com.br/object/geforce-gtx-970-br.html#pdpContent=2Ter menos Cores CUDA faz renderizar mais lentamente pela GPU.
Abração e tudo de bom.
André Vieira