Three Headed Monkeys

No se si conocéis photosynth, pero es una tecnología que han sacado los chicos de Microsoft Live Labs que aunque no es muy útil, resulta bastante espectacular.

Olvidaos de instalar photoshop para crear esos panoramas tan siesos, llega Photosynth. Esta tecnología que por fin ha salido en beta pública permite subir una colección de fotos y la aplicación se encarga de buscar partes coincidentes y de enganchar unas fotos con otras en un entorno tridimensional e interactivo. ¿Tridimensional para unas fotos planas? diréis… pues si, porque photosynth no solo es capaz de juntar las fotos sino además de adivinar desde donde ha sido tomada cada foto en relación al resto de la colección por lo que en el espacio tridimensional se respetan además las posiciones relativas de los elementos de la foto, es decir, que si subiésemos una colección de fotos de nuestra habitación, la aplicación sabría ubicar cada pared. ¿Alucinante verdad?

¿Y cómo porras funciona photosynth para hacer esto? (Explicación para torpes)

Pues usando intensivamente el procesamiento de imágenes, yo que sé un poco de esto puedo explicaros en qué consiste.

Primeramente se extrae de cada imagen una serie de “características únicas” (features en inglés), mediante transformaciones de la imágen, (transformada de Fourier para la extracción de líneas y esquinas por ejemplo). Una vez se tienen un monton de “features” de cada imagen, se comparan subconjuntos de éstos entre distintas imágenes con el fin de encontrar unos patrones en ellos (patrones que se buscan teniendo en cuenta las posiciones de estas “features”). Una vez encontrados los patrones es muy sencillo encajar una imagen con otra.

Para el tema del 3d es más complicado y no lo tengo muy claro, pero parece ser que cuando encuentra los mismos patrones en varias fotos, es capaz de averiguar las distancias relativas de unos puntos a otros y desde donde se hizo la foto en base a lo que se ve en la imágen (las “features” vamos), también con matrices de transformación y esas cosas matemáticas tan chulas.

Aquí dejo un synth de las vistas de la catedral de Florencia donde estuve hace poco con Lucia.
Probablemente necesites un plugin para verlo.

Aconsejo darle al play para volar por todas las fotos y luego ya enredar haciendo clic o moviendose con los controles de la derecha
También hay otros synths creados por mi aquí: http://photosynth.net/Search.aspx?query=ferdy182

Mi amigo Mou también habla de photosynth en su blog.