List

It’s an amazing journey! I am having my sabbatical leave in IBM TJ Watson Research Center, New York. I am so grateful to work with John Smith, Benoit Huet, and Dhiraj Joshi for the first movie AI trailer by Watson. It’s to our surprise that the impacts are huge — the team are also recognized with 2016 IBM Research Image Award for the e technology, industry, and media impacts.

—————

很幸運在(2007年二月)回到台大九年之後,可以在2016年的暑假開始我的第一個休假研究(預計到2017年暑假為止)。與其到安靜熟悉的校園,我選擇到紐約州的IBM TJ Watson研究中心,並參與Watson人工智慧研究群的電腦視覺部門。

上帝都為我們安排好了一套劇本。

報到前在機上還擔心不知從何開始,結果報到第一天,就開始了這趟驚奇的旅程。和其他三位研究員,我們接到了福斯電影公司的要求,希望能用Watson AI技術為即將上映的院線片「Morgan」,自動剪接出電影預告片。

這是一個挑戰,原因不在於技術,我們有把握目前的視覺以及語音/音樂上的深度學習技術可以幫上大大的忙。問題在訓練資料,即使網路上有許多剪接好的預告片,但是沒有原始的完整電影,原本想利用Sequence to Squence的作法似乎不可行。還好有人想到利用生成模型(generative model)的方式,來找出這些(驚悚)預告片的主要元素。

位於加州的福斯電影公司,在看過設計的演算法自動挑出的十個電影片段之後,大為激賞,決定讓Watson放手一博,接著院內的設計人員配上音樂。樣本接下來傳到加州,用了更高畫質的電影畫面以及音樂,就上傳到YouTube上。也就是這個片段。

據說一個電影預告片需要專業人員一個月的時間工作,以目前AI的作法大大縮短了時程!

事實上這部電影並不賣座,但是媒體對這個Watson AI 預告片的熱烈報導,出乎大家的意料之外。一星期內超過兩百三十幾萬人觀賞。我也學到這家百年大型企業如何與媒體合作、如何看待、計算、追蹤分析媒體效益。

長官們對於這個突如其來的研究效益大為激賞,團隊也獲得研究中心內 2016 IBM Research Image Award。

當然陸續引進了其他企業客戶的商業機會。有幸參加幾次企業客戶的會議,片面觀察到B2B在乎的要求與模式。更幸運的是年初有機會參與IBM CEO/Chairwoman, Ginni Rometty所召開的小型會議,了解這樣的技術對企業客戶的機會在哪。

這是一趟出乎意料的旅程,我還懷著喜悅的心情繼續進行著手中的prototype,這個新嘗試,對於未來媒體管理、機器人的視覺感知,可能都是第一次的嘗試。也慶幸在「說」了九年的研究之後,也可讓自己「撩」下去,親自體驗這些深度學習技術的迷人之處。

特別珍惜休假研究這幾個月來參與的計劃以及IBM內對Watson AI技術高度的投入,我也認為AI技術對於B2B或是企業為主的商業模式特別有意義。

同時在自己動手做的這幾個月當中,我也羨慕我在台北的20幾個人團隊可以使用最好的設備,進行著深具挑戰、有趣、充滿機會的AI問題—特別是在大規模的影像以及視訊資料!

  Posts

1 2 3 5
February 8th, 2018

開始就有機會—從無到有的深度學習影像產品開發—群暉Synology

    智能技術是泡沫嗎? 只在口沫中的就是。 智能技術最大的效用,就在提升效率,生產力、以及安全性。增益既有的產品價值,擴張新的銷售管道或是客戶。 過去一年與 Synology 群暉科技 合作的使用者照片物件、場景、人臉辨識技術已經正式deploy到群暉的NAS跟手機中。不限在具有GPU的硬體,因為辨識引擎也經過設計優化。 相關過程也在 二月六號的「TechNews科技新報」的專題報導「搞定關鍵模型,台灣NAS 廠商一年內將AI 導入商用」。 為什麼?照片管理功能對群暉還有他的客戶群是「剛需」,因為使用者相當大量的資料是照片。 『「很令人興奮的產學合作經驗,群暉在深度學習技術從無到有,甚至目前各項視覺辨識指標都達到世界級的水準。」』 這不是恭維,透過嚴謹的研究過程,更能掌握核心技術深度,還有產品化繁瑣細節,並逐漸擴充到其他受惠於智能技術的產品線。 不只是群暉,最近另一家台北的系統廠,也是從無到有,建立了即時人臉辨識的引擎,經過與某國際大廠PK之後,領導階層才意識到自己團隊這一年來建立的堅強實力;目前也在公司內部數千人的場域進行PoC,進行產品化。 『對欲導入視覺辨識等人工智慧技術的企業,徐宏民提出三點建議,首先是相信台灣具有相關領域世界級的技術研究能量;其次是確保高階主管對深度學習等技術的認可並願意投資;最後是將深度學習等技術放到產品藍圖,而非只是單純做研究。』   Related

February 6th, 2018

Year End Party for the Amazing 2017!

February 6th, 2018

Public “NetiLook Dataset” for Netizen-Style Commenting on Fashion Photos

December 5th, 2017

深度卷積網路的產品開發經驗 (一) (Advancing Convolutional Neural Networks for Industrial Products – I)

October 28th, 2017

Best Brave New Idea Paper Award in ACM Multimedia 2017

October 28th, 2017

How to Get Started in (PhD) Research (如何帶領你的PhD學生)

October 25th, 2017

Technical Debt — 沒有白吃的午餐

  十月初Intel副總兼CTO Amir Khosrowshahi 來台,有機會交流。Amir說明Intel在未來智能服務的定位。其中提到了NIPS 2015 Sculley的論文中 “Technical Debt” (技術債)的概念。 很有趣的一個名詞,用來解釋天下沒有白吃的午餐 — 智能化當然是相當重要的未來,但是也得搭配其他不可或缺的要件。  很快的把Sculley的論文看了,主要討論智能元件上線之後,對於線上的工程系統有怎樣的工程挑戰:比如說如何維持特徵值擷取版本,過多的特徵值,訓練模型的版本等等。 值得工程人員關注。  其中最有意思的是這張圖,核心智能(機器學習或是深度學習)常常只是工程系統中的一小部分,為了讓整個服務可以完整的運行,還有其他重要配合的工程部分,例如資料收集、清理、運算資源管理、運算平台、監控服務等。Intel想提供圖一上的大部分,不是只有ML核心。  每個有價值的垂直領域,都有專業的知識,需要時間、成本累積。從一年多前開始跟醫學領域的人一起合作,完全可以感受到跨領域的挑戰,令人戰戰兢兢。  技術債可以用(素質好)的人力彌補,例如挖角、併購,但是價格高。  同樣的,對於非以IT技術擅長的產業,即時是獲利非常良好的隱形冠軍們,要智能化在公司內部開始產生效益,也需要相當的時間跟花費(同樣的,有許多技術債得償還)。當然,經營層的決心是最關鍵的。  這也可能是許多(新創)公司的機會所在。尤其是專注服務於產出大量資料,以及資料單位價值高的幾個領域:例如製造、能源、健康醫療、交通、IT等,都是值得大量投資智能技術的領域。 […]

August 29th, 2017

Interview by Harvard Business Review (哈佛商業評論) on How to Grow the (AI) Talents

August 27th, 2017

Panel Discussion in IBM Technical Forum 2017 and How to be the AI-Savvy Company

August 20th, 2017

Technical Talk in Dell Technology Forum 2017 — AI Developments and Opportunities