List

In the past months, we are helping a Taipei-based leading Network Attached Storage (NAS) company, Synology, for realizing convolutional neural networks into there key products — Synology Moments,which aims to provide effective and efficient solutions for manipulating hugely growing consumer photos in their products. The needs are strong and solid as the customers care the most for the photos and videos in the private (backup) storage. We help enable image recognition (objects, scene, etc.) and face recognition — all based on state-of-the-art CNN solutions.

The results are stunning and yield strongly positive customers feedbacks. We would like to share the experiences in the following blogs.

 

從事影像視訊分析研究15年,絕大部分考慮的是未來的應用或是核心的問題,沒想到這一段時間,有機會可以經歷整個智能產品從無到有的過程,協助設計適合使用者相簿管理的深度卷積網路。主要功能當然包括照片類別(物件)辨識,以及人臉辨識。

網路儲存伺服器(NAS) 公司群暉 (Synology) 的客戶中,相當多購買儲存設備是為了備份日益增加的照片以及視訊資料。所以這些數位內容的智能分析技術,就成為產品開發中的「剛需」。

雖然看到這幾年深度學習的突破發展,要設計出「穩定」、「高正確率」的卷積網路,並且將這些技術落實在所有的NAS硬體中,走進全球使用者的家裡、辦公室中,是相當大的挑戰。而且開始前,群暉尚未建立深度學習團隊,所以就有了這次雙方團隊產學合作的機會。

整個過程是相當有趣的,並且看到深度學習技術真正落實在產品 Synology Moments上,推出一個多月,全球使用者有相當好的回饋。內部評估,性能更高於類似的國外相簿雲服務。相關報導請參考

期間我們也學習到諸多經驗,樂意與大家分享。我們也發現兩個產品的實際問題 (open set 以及 multi-label)在未來各種智能辨識的產品開發上,都會是很大的挑戰,所以正式帶回實驗室,希望用更嚴謹的方式,找到更好的解法。

【深度網路設計?】

結論是為了優化產品,得設計自己的深度卷積網路。

原因很簡單,辨識的類別完全不同;絕大分的既有卷積網路為multi-class的問題(每張影像只有一個類別標註,和其他類別是互斥的),但是實際的應用是multi-label(每張影像必須有多個標註),比如說,全家在海灘拍了張照片,裡面有人、小孩、比基尼、球、陽傘、天空、沙灘、海洋、墨鏡等。

訓練標註的資料並非完全正確,如何讓網路訓練的過程中有容錯能力;絕大部份可得的資料是multi-class的,所以對於網路的訓練甚至是誤導,降低正確率。如何在設計的網路中有抗噪的能力?或是訓練的過程如何降低錯誤的影響?bootstrapping的策略為何?

另外某些標註是傾向於物件,只佔了畫面的小範圍(如墨鏡、沙灘球),有些卻是絕大部份的畫面(沙灘),如何正規化區域性以及全域性的卷積學習方式?

效率的問題呢?使用者平台設定為不使用GPU。如何降低運算時間? 我們發現最好的原則是先讓正確率提高,然後找尋同等效能(辨識能力)的等效低運算網路。所以團隊對於各種網路元件的運算量,也得有清楚的涉獵,能正確地評估。

  Posts

1 2 3 5
December 5th, 2017

深度卷積網路的產品開發經驗 (一) (Advancing Convolutional Neural Networks for Industrial Products – I)

In the past months, we are helping a Taipei-based leading Network Attached Storage (NAS) company, Synology, for realizing convolutional neural […]

October 28th, 2017

Best Brave New Idea Paper Award in ACM Multimedia 2017

Totally amazing and unexpected. Our work in AI for movie trailer creation — as having achieved during my sabbatical leave […]

October 28th, 2017

How to Get Started in (PhD) Research (如何帶領你的PhD學生)

如何開始你的學術研究(或是帶領你的PhD學生)? 明天(10/26)在 GTC Taiwan 2017 中特別的 track — AI Symposium(與科技部合辦),針對台灣的研究以及政府單位人員,我有40分鐘的演講,太多東西值得分享,必須取捨。 有一張我一直很喜歡的投影片得割捨,可是這又是我這幾年帶領研究團隊最重要的方針。 2007年回台北,我還在困惑該怎樣帶領研究團隊的時候,很榮幸受到微軟研究院的邀請,參加他們一年一度的 Microsoft Research Asia Faculty Summit。 會場中Turing Award (1986) 得主, Prof. John […]

October 25th, 2017

Technical Debt — 沒有白吃的午餐

  十月初Intel副總兼CTO Amir Khosrowshahi 來台,有機會交流。Amir說明Intel在未來智能服務的定位。其中提到了NIPS 2015 Sculley的論文中 “Technical Debt” (技術債)的概念。 很有趣的一個名詞,用來解釋天下沒有白吃的午餐 — 智能化當然是相當重要的未來,但是也得搭配其他不可或缺的要件。  很快的把Sculley的論文看了,主要討論智能元件上線之後,對於線上的工程系統有怎樣的工程挑戰:比如說如何維持特徵值擷取版本,過多的特徵值,訓練模型的版本等等。 值得工程人員關注。  其中最有意思的是這張圖,核心智能(機器學習或是深度學習)常常只是工程系統中的一小部分,為了讓整個服務可以完整的運行,還有其他重要配合的工程部分,例如資料收集、清理、運算資源管理、運算平台、監控服務等。Intel想提供圖一上的大部分,不是只有ML核心。  每個有價值的垂直領域,都有專業的知識,需要時間、成本累積。從一年多前開始跟醫學領域的人一起合作,完全可以感受到跨領域的挑戰,令人戰戰兢兢。  技術債可以用(素質好)的人力彌補,例如挖角、併購,但是價格高。  同樣的,對於非以IT技術擅長的產業,即時是獲利非常良好的隱形冠軍們,要智能化在公司內部開始產生效益,也需要相當的時間跟花費(同樣的,有許多技術債得償還)。當然,經營層的決心是最關鍵的。  這也可能是許多(新創)公司的機會所在。尤其是專注服務於產出大量資料,以及資料單位價值高的幾個領域:例如製造、能源、健康醫療、交通、IT等,都是值得大量投資智能技術的領域。 […]

August 29th, 2017

Interview by Harvard Business Review (哈佛商業評論) on How to Grow the (AI) Talents

My personal views in how we grow and train the top (AI) talents — an interview by Harvard Business Review […]

August 27th, 2017

Panel Discussion in IBM Technical Forum 2017 and How to be the AI-Savvy Company

A really fun experience as attending the opening discussion in IBM Technology Forum, in W Hotel, Taipei, regarding the future […]

August 20th, 2017

Technical Talk in Dell Technology Forum 2017 — AI Developments and Opportunities

Thanks for the invitation from Dell Taiwan. It’s my great pleasure to share our thoughts and ongoing works in deep […]

August 20th, 2017

Amazing Year in IBM TJ Watson (IBM 華生研究中心的夢幻旅程)

It’s official that I had ended my very pleasant and amazing 1-year sabbatical leave in IBM TJ Watson Research Center, […]

August 20th, 2017

Presenting in Media Event: 商業週刊演講會 — 機器智能的在地機會

  In the Saturday afternoon (August 12, 2017), I will had a public sharing –regarding the current developments of deep […]

July 25th, 2017

Our CVPR 2017 Paper Highlighted in NVIDIA Corporate Blog

It’s a great honor that our work for CVPR 2017 in 3D medical imaging segmentation is highlighted in NVIDIA corporate blog, titled […]