如何開始你的學術研究（或是帶領你的PhD學生）？ 明天（10/26）在 GTC Taiwan 2017 中特別的 track — AI Symposium（與科技部合辦），針對台灣的研究以及政府單位人員，我有40分鐘的演講，太多東西值得分享，必須取捨。 有一張我一直很喜歡的投影片得割捨，可是這又是我這幾年帶領研究團隊最重要的方針。 2007年回台北，我還在困惑該怎樣帶領研究團隊的時候，很榮幸受到微軟研究院的邀請，參加他們一年一度的 Microsoft Research Asia Faculty Summit。 會場中Turing Award (1986) 得主， Prof. John […]

My personal views in how we grow and train the top (AI) talents — an interview by Harvard Business Review […]

Thanks for the invitation from Dell Taiwan. It’s my great pleasure to share our thoughts and ongoing works in deep […]

It’s official that I had ended my very pleasant and amazing 1-year sabbatical leave in IBM TJ Watson Research Center, […]

It’s interesting to see that the number of attendees grow sharply in the past few years — especially those from […]

How to invent the nXet great thing when you meet something, X, great? 創意如何延伸發想？ 當看到某樣令人讚嘆的成果，那下一個創意在那裡？ 我們的工作受惠於近年來形形色色攝影裝置的快速增長、大量的影音視訊資料，所以各種偵測、分析、搜尋、探勘的機器智慧能力應運而生。但是創意在那裡？ 幾年前聽過MIT教授Ramesh Raskar的 “Idea Hexagon” […]

想像一下，如果在家裡一堆數位照片中，要翻出某張照片，你得花費多少時間？ 家中有小孩的家庭，常會為了尋找照片而煩惱（例如繳交寒暑假作業）。尤其是家中數位相片持續大量累積中，這個問題其實越來越麻煩。 明明心中想著那張照片的畫面，可是怎麼也找不到！ 我們在2011年聽到許多媽媽們（還有爸爸們）的需要，提出了search by impression的概念。在幾十萬張的照片中，協助快速找到那張記憶中的畫面。同時也補足文字標註、人臉辨識、以及以圖找圖技術的不足。 相當多的統計指出，使用者照片中帶有人像的照片大概超過80%。而且MIT的研究也發現，多年之後，有人臉的照片是大家最記得的。 所以我們設計了全新的使用者照片的搜尋方式，按照使用者印象中的畫面，利用人臉位置、大小、排出記憶中的輪廓，結合人臉屬性偵測，檢索前每張人臉自動偵測出性別、種族、膚色、年紀、打扮等，來額外輔助描述記憶中的畫面。例如印象中姊妹淘出遊的畫面，三位（年輕）女性緊靠在一起；爺爺奶奶和孫子的合照，爺爺（資深男性）在左，奶奶（資深女性）在右等。 Demo影片可以清楚呈現實際的使用畫面。 解決實際問題的研究不容於學術的頂級殿堂嗎？ 當我們為了確保在幾十萬張的照片中依舊維持搜索的正確率以及效率，我們就得嘗試設計第一次同時為偵測出的人臉屬性、高維度人臉特徵值、人臉位置、大小等截然不同的資料型態建立全新整合的檢索方式。如何評估效能？如何設計全新的UI？ 當嚴謹地面對這些挑戰，自然會在重要的場合讓人驚豔。初試啼聲，就在美國亞利桑那舉辦的頂級多媒體會議ACM Multimeida 獲得Grand Challenge 首獎[1]。完整的技術也在搜尋技術的大會ACM SIGIR以Full Paper (Oral)發表[2]。因為是全新在觸控螢幕上的搜尋技術，我們也申請了美國專利，也曾經讓某家矽谷領導品牌的影像公司談到技術授權。 嚴謹跟解決實際問題並不衝突。 […]

在機器智能的運用上，困難的問題，一般會利用（1）採用更複雜的模型（如數十層的類神經網路），或是（2）提供更多標註過的訓練資料。但是資料標註的代價（所需準備的時間以及金錢）是相當昂貴的。尤其時間是產業應用上，時間是相當貴重的成本。 另一個想法：如果可以善用Internet上隨手可得的資料，有時候複雜困難的問題，會有意想不到的突破！ 之前我們嘗試解決人臉辨識上一個未解的問題—「跨年紀人臉辨識」。如果使用face verification的定義的話， 我們得決定任兩張（相距五到十年）的照片，是否屬於同一人。 大家可以參考看看這張照片，猜測一下，屬於同一個人嗎？ 跨年紀人臉辨識，在兩年前還是十分困難的問題。過去以來，大家考慮的是尋找逼近老化的方程式，或是找出不受年齡影響 (age-invariant)的人臉特徵表示方法。可是人類老化是個複雜的model，所以一直無法突破。 我們 （Sirius Chen 以及 Dr. Chu-Song Chen） 則大膽採用了另一個全新的策略。我們以網路上隨手可得的名人照片來表示（解釋）人像；比如說某個人鼻子長得像明星A、嘴巴像明星B、下巴像明星C，等（約數百位名人）。如此一來，沒有例外，大家都會經過類似的老化過程。因此這個人和名人A、B、C等在某個部位還是維持相似性。我們就用這樣的表示法來代表人臉特徵值（過程使用sparse coding、 high-dimensional LBP、max pooling實現）。 […]

2010年參加微軟主辦的Faculty Summit時，Turing Award winner Prof. John Hopcroft，分享了他是如何帶領（博士班）學生： Position yourself for the future Ignore well established open problems Formulate new direction […]

好奇目前先進駕駛輔助系統(Advanced Driver Assistance Systems；ADAS)領域供應商在深度學習的發展狀況為何。剛好看了一篇關於 Mobileye的報導，又把NVIDIA BB8的技術文章拿來翻了一下，有趣的比對。   Mobileye目前使用的solution是deep learning based 嗎？好奇。 NVIDIA BB8倒是展示了一件事，是不是可以利用end-to-end的作法，讓學習的網路由目前路面影像的輸入直接決定方向盤該轉幾度？這跟之前得先偵測出路面、分割線、道路邊緣的作法大大不同。這也暗示，對於其他深度學習的應用，也可以直接最佳化最後的標的，中間的特徵值或是決策，直接交給網路學習決定。 We do not work on ADAS (advanced […]