Veja abaixo o vídeo de demonstração do inForm, um novo equipamento que está sendo desenvolvido no MIT para interação com objetos físicos distantes.
Ele trabalha com uma mesa de pinos que gera as formas da mão de uma pessoa em tempo real, capturada por meio de vídeo e transformada em Height Maps que modificam as posições dos pinos.
Os desenvolvedores estão testando diversas aplicações para o aparelho, como o uso em videoconferências, mas usando Height Maps a mesa pode reproduzir qualquer tipo de objeto.

Você pode ter mais informações sobre o inForm clicando aqui.