Oi John, tudo bem?
Existem muitas formas de fazer essa interatividade com o ambiente 3D, usar Engines de Games como o Sérgio indicou é sempre a opção mais poderosa e que oferece mais liberdade, mas também é a mais difícil, depende de conhecer bem de programação e da Engine escolhida.
A forma mais fácil é usando plug-ins para este fim, existem vários, como o Turn Tool e o RTRE, entre outros. Você pode conhecer mais plug-ins que fazem isso na seção Plug-ins>Comerciais aqui na 3D1, pois estes plug-ins não são gratuitos.
Outra forma que é um pouco mais fácil do que usar Engines, é o programa 3D Game Studio, ele vem com rotinas prontas que a pessoa pode usar em ter que programar nada, mas para fazer tudo que quiser nele, terá que saber programar.
Ainda tem o programa Director da Macromedia, atualmente da Adobe. Com ele você pode fazer uma interface bem profissional e programar a interatividade com o ambiente 3D, mas precisa saber programar em Lingo, que é a línguagem usada por ele.
Neste artigo eu explico um pouco sobre estas questões: http://www.tresd1.com.br/artigos.php?t=15455
Nele eu mostro também a opção do QuickTime VR e você poderá ver exemplos de interatividade com 3D criadas no Director.
Abraços