Seeing several sharing regarding Google’s AutoDraw, we like to share our various solutions for sketch-based retrieval for image, products, and 3D models, etc. We believe it a very intuitive way to manage content of interest in touch-based devices.
這幾天看到好多人人分享Google最新推出的展示 AutoDraw。我們有也有類似，但是其他面向的做法。
我們展示了從2011年開始的sketch-based搜尋。最先的想法是希望在觸控手機或是平板上，幫助使用者利用最直覺的方式，畫出他們心中所需要的某張照片。 而且為了解決即時的搜尋，我們更設計了新穎的雜湊(Hash-based)檢索技術，在第一代的iPad平板上，幾萬張照片即時搜尋完全輕而易舉。技術也在ACM Multimedia 2012 [1] 上展示。
這個簡單繪畫的直覺也可以擴展到商品的搜尋上，尤其是服裝、鞋子等。我們更進一步解決商品拍攝調度跟簡畫時線條描述角度不一致的問題[2]。
最近看到3D列印以及網路上有許多免費的3D模型，我們也考量來加速3D設計以及列印。主要想法是，與其花費很長的時間重新設計一個全新的3D模式，何不在網路上先搜尋是否有類似的雛形，可以下載下來修改。簡畫（sketch）就是打樣最簡單的方式，而且在即時就可以找到類似的3D模型！
所以web-scale 3D模型的檢索是我們解決的問題。同時也設計了全新的【多視角深度卷積網路網路】來解決使用者畫出的概略線條與3D model 各個視角間視覺上的差異。
而且這個系統不只是頂尖電腦視覺會議上的技術論文，我們更用來協助台北市的小學生們，從事創客(maker)的3D列印設計。
[1] Kai-Yu Tseng, Yen-Liang Lin, Yu-Hsiu Chen, Winston H. Hsu: Sketch-based image retrieval on mobile devices using compact hash bits. ACM Multimedia 2012. [pdf]
[2] Yen-Liang Lin, Cheng-Yu Huang, Hao-Jeng Wang, Winston H. Hsu: 3D Sub-query Expansion for Improving Sketch-Based Multi-view Image Retrieval. ICCV 2013. [pdf]