List

It’s an amazing journey! I am having my sabbatical leave in IBM TJ Watson Research Center, New York. I am so grateful to work with John Smith, Benoit Huet, and Dhiraj Joshi for the first movie AI trailer by Watson. It’s to our surprise that the impacts are huge — the team are also recognized with 2016 IBM Research Image Award for the e technology, industry, and media impacts.

—————

很幸運在(2007年二月)回到台大九年之後,可以在2016年的暑假開始我的第一個休假研究(預計到2017年暑假為止)。與其到安靜熟悉的校園,我選擇到紐約州的IBM TJ Watson研究中心,並參與Watson人工智慧研究群的電腦視覺部門。

上帝都為我們安排好了一套劇本。

報到前在機上還擔心不知從何開始,結果報到第一天,就開始了這趟驚奇的旅程。和其他三位研究員,我們接到了福斯電影公司的要求,希望能用Watson AI技術為即將上映的院線片「Morgan」,自動剪接出電影預告片。

這是一個挑戰,原因不在於技術,我們有把握目前的視覺以及語音/音樂上的深度學習技術可以幫上大大的忙。問題在訓練資料,即使網路上有許多剪接好的預告片,但是沒有原始的完整電影,原本想利用Sequence to Squence的作法似乎不可行。還好有人想到利用生成模型(generative model)的方式,來找出這些(驚悚)預告片的主要元素。

位於加州的福斯電影公司,在看過設計的演算法自動挑出的十個電影片段之後,大為激賞,決定讓Watson放手一博,接著院內的設計人員配上音樂。樣本接下來傳到加州,用了更高畫質的電影畫面以及音樂,就上傳到YouTube上。也就是這個片段。

據說一個電影預告片需要專業人員一個月的時間工作,以目前AI的作法大大縮短了時程!

事實上這部電影並不賣座,但是媒體對這個Watson AI 預告片的熱烈報導,出乎大家的意料之外。一星期內超過兩百三十幾萬人觀賞。我也學到這家百年大型企業如何與媒體合作、如何看待、計算、追蹤分析媒體效益。

長官們對於這個突如其來的研究效益大為激賞,團隊也獲得研究中心內 2016 IBM Research Image Award。

當然陸續引進了其他企業客戶的商業機會。有幸參加幾次企業客戶的會議,片面觀察到B2B在乎的要求與模式。更幸運的是年初有機會參與IBM CEO/Chairwoman, Ginni Rometty所召開的小型會議,了解這樣的技術對企業客戶的機會在哪。

這是一趟出乎意料的旅程,我還懷著喜悅的心情繼續進行著手中的prototype,這個新嘗試,對於未來媒體管理、機器人的視覺感知,可能都是第一次的嘗試。也慶幸在「說」了九年的研究之後,也可讓自己「撩」下去,親自體驗這些深度學習技術的迷人之處。

特別珍惜休假研究這幾個月來參與的計劃以及IBM內對Watson AI技術高度的投入,我也認為AI技術對於B2B或是企業為主的商業模式特別有意義。

同時在自己動手做的這幾個月當中,我也羨慕我在台北的20幾個人團隊可以使用最好的設備,進行著深具挑戰、有趣、充滿機會的AI問題—特別是在大規模的影像以及視訊資料!

  Posts

1 2 3 4
August 20th, 2017

Amazing Year in IBM TJ Watson (IBM 華生研究中心的夢幻旅程)

August 20th, 2017

Presenting in Media Event: 商業週刊演講會 — 機器智能的在地機會

July 24th, 2017

NVIDIA AI Lab Meetup in CVPR 2017 and new V100 GPUs

August 29th, 2017

Interview by Harvard Business Review (哈佛商業評論) on How to Grow the (AI) Talents

August 27th, 2017

Panel Discussion in IBM Technical Forum 2017 and How to be the AI-Savvy Company

August 20th, 2017

Technical Talk in Dell Technology Forum 2017 — AI Developments and Opportunities

July 25th, 2017

Our CVPR 2017 Paper Highlighted in NVIDIA Corporate Blog

July 18th, 2017

Drone-View Object Localization/Counting and Public Vehicle Dataset (CARPK)

July 2nd, 2017

Publications vs. Industry Needs (發表學術論文跟產業脫節?)

June 9th, 2017

Team management, productivity, and appreciation