Veja abaixo o vídeo de demonstração do projeto de manipulação de imagens com objetos 3D que será apresentado na Siggraph deste ano.
Um breve trecho foi exibido no vídeo das tecnologias que serão apresentadas na Siggraph, mas essa versão publicada pelo autor do projeto explica melhor o processo.

Você pode ter mais informações sobre o projeto clicando aqui.