Oi Sexymal, tudo bem?
Eu estou nessa jornada do 3D há quase 30 anos e você pode contar comigo para tudo que precisar.
Sobre programa para modelar os selos em 3D, existem vários que são mais avançados na parte de modelagem, inclusive o Blender, que é gratuito e oferece o recurso de Geometry Nodes.
Com este tipo de recurso você pode modelar um selo só e criar parâmetros para modificar ele, então, a partir de um você gera diveras variações.
Também é possível fazer isso no 3ds max, mas é muito mais difícil e muito mais trabalhoso.
Sobre a renderização, eu não sabia que o C4D não aceitava RTX, você procurou saber sobre o Redshift?
Ele faz parte do C4D atualmente e foi um dos melhores renderizadores que usei, acredito que ele aceita RTX.
De qualquer forma, no Blender você poderá renderizar com RTX, até em Real-Time com o Eevee.
Ainda tem o Unreal Engine, que também é de graça e atualmente é a maior sensação no mundo da renderização, por ser Real-Time, ele só usa RTX.
Sobre o seu computador, ele é ótimo para usar estes programas 3D.
Vi as imagens que você deseja fazer e realmente tem muitas formas de fazer, poderia ser até em 2D proceduralmente com o Substance Designer para gerar o 3D com Displacement, mas você está seguindo o melhor caminho.
Aprenda a modelar num programa 3D igual o Blender, se quiser poderá renderizar lá mesmo, mas acho que deveria estudar o Unreal, pois vai abrir muitas portas, pode apostar!
Abração e tudo de bom.
André Vieira