List

Amazing crowd size in the deep leaning session in GTC 2018 Taipei, where I had a 50-min lecture on how to effectively collect quality training data and devise efficient algorithms for learning in deep learning paradigms.

Happy to see that laughters are around and nobody left during my 50-min talk (~500+ attendees).

三月底在San Jose舉辦的NVIDIA GTC 2018中,我們發表了50分鐘的技術演說,分析如何有效率的採集關鍵性的深度(機器)學習訓練資料以及訓練方式,在現場也滿滿感受到這股強烈的需求,會後還獲得許多正面的評價。

五月底GTC在台北。三十號下午,主辦單位給了我55分鐘的時間,我分享這幾年將深度網路技術落地到產品上,所遇到的問題以及解決之道。更感謝業界的朋友也不吝分享他們的開發經驗。

在技術上,我們主要整理了四種資料對策:首先由社群媒體上的公開影像、視訊、對話等下載所需的資料,再透過群眾外包完成標註。其次是利用弱監督(weakly supervised)或是半監督(semi-supervised)的算法,利用少量的標註資料(或是包含其它未標註的大量資料)進行學習訓練,以降低昂貴費時的資料標註。再來是使用不同(接近線性)的轉換方式,產生更多(但是近似)的資料。最後,也是目前看來最有機會的,善用3D圖像生成,或是生成對抗網路(GAN)來生成跟多互補性的訓練資料。

我們回顧這幾年頂尖論文的實驗以及理論的支持,更搭配了產品開發的真實範例。

 

  Category: Lectures

4 posts
June 9th, 2018

Amazing Crowd Size and Positive Feedbacks in the Deep Learning Lecture for GTC 2018 Taipei

Amazing crowd size in the deep leaning session in GTC 2018 Taipei, where I had a 50-min lecture on how […]

March 27th, 2018

Talk for GTC 2018 — Investigating Data Augmentation Strategies for Advancing Deep Learning Training

Data is vital for realizing machine leaning algorithms into industrial products — as sensing the strong feedbacks from the attendees […]

October 25th, 2017

Technical Debt — 沒有白吃的午餐

  十月初Intel副總兼CTO Amir Khosrowshahi 來台,有機會交流。Amir說明Intel在未來智能服務的定位。其中提到了NIPS 2015 Sculley的論文中 “Technical Debt” (技術債)的概念。 很有趣的一個名詞,用來解釋天下沒有白吃的午餐 — 智能化當然是相當重要的未來,但是也得搭配其他不可或缺的要件。  很快的把Sculley的論文看了,主要討論智能元件上線之後,對於線上的工程系統有怎樣的工程挑戰:比如說如何維持特徵值擷取版本,過多的特徵值,訓練模型的版本等等。 值得工程人員關注。  其中最有意思的是這張圖,核心智能(機器學習或是深度學習)常常只是工程系統中的一小部分,為了讓整個服務可以完整的運行,還有其他重要配合的工程部分,例如資料收集、清理、運算資源管理、運算平台、監控服務等。Intel想提供圖一上的大部分,不是只有ML核心。  每個有價值的垂直領域,都有專業的知識,需要時間、成本累積。從一年多前開始跟醫學領域的人一起合作,完全可以感受到跨領域的挑戰,令人戰戰兢兢。  技術債可以用(素質好)的人力彌補,例如挖角、併購,但是價格高。  同樣的,對於非以IT技術擅長的產業,即時是獲利非常良好的隱形冠軍們,要智能化在公司內部開始產生效益,也需要相當的時間跟花費(同樣的,有許多技術債得償還)。當然,經營層的決心是最關鍵的。  這也可能是許多(新創)公司的機會所在。尤其是專注服務於產出大量資料,以及資料單位價值高的幾個領域:例如製造、能源、健康醫療、交通、IT等,都是值得大量投資智能技術的領域。 […]

April 4th, 2017

50-min presentation in GTC (GPU Technology Conference) 2017, San Jose

Our GTC (GPU Technology Conference) 2017 scheduled confirmed. 50 min talk scheduled on Monday, May 8, 9:00 AM – 9:50 […]