List

It’s an amazing journey! I am having my sabbatical leave in IBM TJ Watson Research Center, New York. I am so grateful to work with John Smith, Benoit Huet, and Dhiraj Joshi for the first movie AI trailer by Watson. It’s to our surprise that the impacts are huge — the team are also recognized with 2016 IBM Research Image Award for the e technology, industry, and media impacts.

—————

很幸運在(2007年二月)回到台大九年之後,可以在2016年的暑假開始我的第一個休假研究(預計到2017年暑假為止)。與其到安靜熟悉的校園,我選擇到紐約州的IBM TJ Watson研究中心,並參與Watson人工智慧研究群的電腦視覺部門。

上帝都為我們安排好了一套劇本。

報到前在機上還擔心不知從何開始,結果報到第一天,就開始了這趟驚奇的旅程。和其他三位研究員,我們接到了福斯電影公司的要求,希望能用Watson AI技術為即將上映的院線片「Morgan」,自動剪接出電影預告片。

這是一個挑戰,原因不在於技術,我們有把握目前的視覺以及語音/音樂上的深度學習技術可以幫上大大的忙。問題在訓練資料,即使網路上有許多剪接好的預告片,但是沒有原始的完整電影,原本想利用Sequence to Squence的作法似乎不可行。還好有人想到利用生成模型(generative model)的方式,來找出這些(驚悚)預告片的主要元素。

位於加州的福斯電影公司,在看過設計的演算法自動挑出的十個電影片段之後,大為激賞,決定讓Watson放手一博,接著院內的設計人員配上音樂。樣本接下來傳到加州,用了更高畫質的電影畫面以及音樂,就上傳到YouTube上。也就是這個片段。

據說一個電影預告片需要專業人員一個月的時間工作,以目前AI的作法大大縮短了時程!

事實上這部電影並不賣座,但是媒體對這個Watson AI 預告片的熱烈報導,出乎大家的意料之外。一星期內超過兩百三十幾萬人觀賞。我也學到這家百年大型企業如何與媒體合作、如何看待、計算、追蹤分析媒體效益。

長官們對於這個突如其來的研究效益大為激賞,團隊也獲得研究中心內 2016 IBM Research Image Award。

當然陸續引進了其他企業客戶的商業機會。有幸參加幾次企業客戶的會議,片面觀察到B2B在乎的要求與模式。更幸運的是年初有機會參與IBM CEO/Chairwoman, Ginni Rometty所召開的小型會議,了解這樣的技術對企業客戶的機會在哪。

這是一趟出乎意料的旅程,我還懷著喜悅的心情繼續進行著手中的prototype,這個新嘗試,對於未來媒體管理、機器人的視覺感知,可能都是第一次的嘗試。也慶幸在「說」了九年的研究之後,也可讓自己「撩」下去,親自體驗這些深度學習技術的迷人之處。

特別珍惜休假研究這幾個月來參與的計劃以及IBM內對Watson AI技術高度的投入,我也認為AI技術對於B2B或是企業為主的商業模式特別有意義。

同時在自己動手做的這幾個月當中,我也羨慕我在台北的20幾個人團隊可以使用最好的設備,進行著深具挑戰、有趣、充滿機會的AI問題—特別是在大規模的影像以及視訊資料!

  Posts

1 2 3 5
December 5th, 2017

深度卷積網路的產品開發經驗 (一) (Advancing Convolutional Neural Networks for Industrial Products – I)

October 28th, 2017

Best Brave New Idea Paper Award in ACM Multimedia 2017

October 28th, 2017

How to Get Started in (PhD) Research (如何帶領你的PhD學生)

October 25th, 2017

Technical Debt — 沒有白吃的午餐

  十月初Intel副總兼CTO Amir Khosrowshahi 來台,有機會交流。Amir說明Intel在未來智能服務的定位。其中提到了NIPS 2015 Sculley的論文中 “Technical Debt” (技術債)的概念。 很有趣的一個名詞,用來解釋天下沒有白吃的午餐 — 智能化當然是相當重要的未來,但是也得搭配其他不可或缺的要件。  很快的把Sculley的論文看了,主要討論智能元件上線之後,對於線上的工程系統有怎樣的工程挑戰:比如說如何維持特徵值擷取版本,過多的特徵值,訓練模型的版本等等。 值得工程人員關注。  其中最有意思的是這張圖,核心智能(機器學習或是深度學習)常常只是工程系統中的一小部分,為了讓整個服務可以完整的運行,還有其他重要配合的工程部分,例如資料收集、清理、運算資源管理、運算平台、監控服務等。Intel想提供圖一上的大部分,不是只有ML核心。  每個有價值的垂直領域,都有專業的知識,需要時間、成本累積。從一年多前開始跟醫學領域的人一起合作,完全可以感受到跨領域的挑戰,令人戰戰兢兢。  技術債可以用(素質好)的人力彌補,例如挖角、併購,但是價格高。  同樣的,對於非以IT技術擅長的產業,即時是獲利非常良好的隱形冠軍們,要智能化在公司內部開始產生效益,也需要相當的時間跟花費(同樣的,有許多技術債得償還)。當然,經營層的決心是最關鍵的。  這也可能是許多(新創)公司的機會所在。尤其是專注服務於產出大量資料,以及資料單位價值高的幾個領域:例如製造、能源、健康醫療、交通、IT等,都是值得大量投資智能技術的領域。 […]

August 29th, 2017

Interview by Harvard Business Review (哈佛商業評論) on How to Grow the (AI) Talents

August 27th, 2017

Panel Discussion in IBM Technical Forum 2017 and How to be the AI-Savvy Company

August 20th, 2017

Technical Talk in Dell Technology Forum 2017 — AI Developments and Opportunities

August 20th, 2017

Amazing Year in IBM TJ Watson (IBM 華生研究中心的夢幻旅程)

August 20th, 2017

Presenting in Media Event: 商業週刊演講會 — 機器智能的在地機會

July 25th, 2017

Our CVPR 2017 Paper Highlighted in NVIDIA Corporate Blog