想像一下，如果在家裡一堆數位照片中，要翻出某張照片，你得花費多少時間？

家中有小孩的家庭，常會為了尋找照片而煩惱（例如繳交寒暑假作業）。尤其是家中數位相片持續大量累積中，這個問題其實越來越麻煩。

明明心中想著那張照片的畫面，可是怎麼也找不到！

我們在2011年聽到許多媽媽們（還有爸爸們）的需要，提出了search by impression的概念。在幾十萬張的照片中，協助快速找到那張記憶中的畫面。同時也補足文字標註、人臉辨識、以及以圖找圖技術的不足。

相當多的統計指出，使用者照片中帶有人像的照片大概超過80%。而且MIT的研究也發現，多年之後，有人臉的照片是大家最記得的。

所以我們設計了全新的使用者照片的搜尋方式，按照使用者印象中的畫面，利用人臉位置、大小、排出記憶中的輪廓，結合人臉屬性偵測，檢索前每張人臉自動偵測出性別、種族、膚色、年紀、打扮等，來額外輔助描述記憶中的畫面。例如印象中姊妹淘出遊的畫面，三位（年輕）女性緊靠在一起；爺爺奶奶和孫子的合照，爺爺（資深男性）在左，奶奶（資深女性）在右等。 Demo影片可以清楚呈現實際的使用畫面。

解決實際問題的研究不容於學術的頂級殿堂嗎？

當我們為了確保在幾十萬張的照片中依舊維持搜索的正確率以及效率，我們就得嘗試設計第一次同時為偵測出的人臉屬性、高維度人臉特徵值、人臉位置、大小等截然不同的資料型態建立全新整合的檢索方式。如何評估效能？如何設計全新的UI？

當嚴謹地面對這些挑戰，自然會在重要的場合讓人驚豔。初試啼聲，就在美國亞利桑那舉辦的頂級多媒體會議ACM Multimeida 獲得Grand Challenge 首獎[1]。完整的技術也在搜尋技術的大會ACM SIGIR以Full Paper (Oral)發表[2]。因為是全新在觸控螢幕上的搜尋技術，我們也申請了美國專利，也曾經讓某家矽谷領導品牌的影像公司談到技術授權。

嚴謹跟解決實際問題並不衝突。

如果我們習慣設身處地思考一般使用者的需要？那也很自然可以思考製造業、電商、營建的可能需求。他們有怎樣的痛點，為了營運而累積大量的複雜多樣性資料，該如何協助智慧分析？轉換適當的KPI，搞不好就是另一個有機會的產品。

[1] Yu-Heng Lei, Yan-Ying Chen, Bor-Chun Chen, Lime Iida, Winston H. Hsu: Where is who: large-scale photo retrieval by facial attributes and canvas layout. SIGIR 2012: 701-710

[2] Yu-Heng Lei, Yan-Ying Chen, Lime Iida, Bor-Chun Chen, Hsiao-Hang Su, Winston H. Hsu: Photo search by face positions and facial attributes on touch devices. ACM Multimedia 2011: 651-654. [FIRST Prize in ACM Multimedia Grand Challenge 2011]