Olá sk8erboy, tudo bem?
Dentro de um jogo, uma animação nada mais é do que um vídeo, ou seja, uma sequência de imagens previamente renderizadas. Nesse caso a Placa de Vídeo só irá mostrar a imagem (isso é fácil e rápido).
Mas o jogo em si, não possui sequência de imagens previamente renderizadas. O jogo é renderizado em tempo real, ou seja, a cada momento tudo (ou quase tudo) é renderizado a todo instante.
Se os gráficos ficarem muito pesados, o seu jogo até funcionará, porém irá funcionar de forma muito lenta, porque o cálculo do render em tempo real será muito lento, devido a grande qualidade dos gráficos.
Para jogo, o ideal é você modelar tudo em Low Poly e aplicar a qualidade totalmente na textura, ou seja, a textura irá esconder imperfeições e apresentar detalhes que não existam na modelagem.
Se você reparar nos melhores jogos existentes, são poucos que possuem elementos gráficos com qualidade excelente e com grande jogabilidade. Normalmente o jogo é muito bom e jogabilidade ou em gráficos, raramente nos dois.