List

It’s an amazing journey! I am having my sabbatical leave in IBM TJ Watson Research Center, New York. I am so grateful to work with John Smith, Benoit Huet, and Dhiraj Joshi for the first movie AI trailer by Watson. It’s to our surprise that the impacts are huge — the team are also recognized with 2016 IBM Research Image Award for the e technology, industry, and media impacts.

—————

很幸運在(2007年二月)回到台大九年之後,可以在2016年的暑假開始我的第一個休假研究(預計到2017年暑假為止)。與其到安靜熟悉的校園,我選擇到紐約州的IBM TJ Watson研究中心,並參與Watson人工智慧研究群的電腦視覺部門。

上帝都為我們安排好了一套劇本。

報到前在機上還擔心不知從何開始,結果報到第一天,就開始了這趟驚奇的旅程。和其他三位研究員,我們接到了福斯電影公司的要求,希望能用Watson AI技術為即將上映的院線片「Morgan」,自動剪接出電影預告片。

這是一個挑戰,原因不在於技術,我們有把握目前的視覺以及語音/音樂上的深度學習技術可以幫上大大的忙。問題在訓練資料,即使網路上有許多剪接好的預告片,但是沒有原始的完整電影,原本想利用Sequence to Squence的作法似乎不可行。還好有人想到利用生成模型(generative model)的方式,來找出這些(驚悚)預告片的主要元素。

位於加州的福斯電影公司,在看過設計的演算法自動挑出的十個電影片段之後,大為激賞,決定讓Watson放手一博,接著院內的設計人員配上音樂。樣本接下來傳到加州,用了更高畫質的電影畫面以及音樂,就上傳到YouTube上。也就是這個片段。

據說一個電影預告片需要專業人員一個月的時間工作,以目前AI的作法大大縮短了時程!

事實上這部電影並不賣座,但是媒體對這個Watson AI 預告片的熱烈報導,出乎大家的意料之外。一星期內超過兩百三十幾萬人觀賞。我也學到這家百年大型企業如何與媒體合作、如何看待、計算、追蹤分析媒體效益。

長官們對於這個突如其來的研究效益大為激賞,團隊也獲得研究中心內 2016 IBM Research Image Award。

當然陸續引進了其他企業客戶的商業機會。有幸參加幾次企業客戶的會議,片面觀察到B2B在乎的要求與模式。更幸運的是年初有機會參與IBM CEO/Chairwoman, Ginni Rometty所召開的小型會議,了解這樣的技術對企業客戶的機會在哪。

這是一趟出乎意料的旅程,我還懷著喜悅的心情繼續進行著手中的prototype,這個新嘗試,對於未來媒體管理、機器人的視覺感知,可能都是第一次的嘗試。也慶幸在「說」了九年的研究之後,也可讓自己「撩」下去,親自體驗這些深度學習技術的迷人之處。

特別珍惜休假研究這幾個月來參與的計劃以及IBM內對Watson AI技術高度的投入,我也認為AI技術對於B2B或是企業為主的商業模式特別有意義。

同時在自己動手做的這幾個月當中,我也羨慕我在台北的20幾個人團隊可以使用最好的設備,進行著深具挑戰、有趣、充滿機會的AI問題—特別是在大規模的影像以及視訊資料!

  Posts

1 2 3 4
July 25th, 2017

Our CVPR 2017 Paper Highlighted in NVIDIA Corporate Blog

July 24th, 2017

NVIDIA AI Lab Meetup in CVPR 2017 and new V100 GPUs

July 18th, 2017

Drone-View Object Localization/Counting and Public Vehicle Dataset (CARPK)

July 2nd, 2017

Publications vs. Industry Needs (發表學術論文跟產業脫節?)

June 9th, 2017

Team management, productivity, and appreciation

June 1st, 2017

Practical advises for embracing AI-savvy products (Hosting AI Forum in InnoVEX 2017)

May 24th, 2017

Image to Poetry — 看圖造新詩

May 15th, 2017

島內AI的隱形驅動力

前陣子協助 天下雜誌 副總編輯 Yi-Shan Chen 完成AI專輯 [AI全面啟動Ⅰ:科技島國的翻身契機]。 我在紐約,這段時間,Yi-Shan透過FB的訪談跟資料詢問,我感受到她的焦慮,急著摸清楚這個浪潮的來龍去脈,以及我們該做的、或是已經做到的。 初稿完成,正如Yi-Shan所說的,她不那麼悲觀了。或是說我們也沒有悲觀的權利。 我的觀察。 2016年初開始,國內幾家領先企業也開始注意到AI(深度學習)浪潮可能對公司的影響。已經開始研究如何在既有的核心業務上善用這些前瞻技術。 這不是將開源的類神經網路拿來使用就好、或是付費API可以全然解決。首先產品需要的偵測/辨識的項目跟benchmark資料完全不同、產品大部分是multi-label的問題而不是大家常討論的multi-class、訓練資料的取得跟缺乏、應用場域資料型態差異、學習model的參數過大、耗電、運算時間、或是在使用者端自動調適學習等。產品佈建跟論文討論的範疇有著相當大的差異。 領導者(執行長、董事長)的決心是最關鍵的問題。因為引進新的機器學習paradigm之後,牽涉到資源配置、薪資結構、產品pipeline(如使用者資料收集、AI引擎的更新)、新產品的定位等,需要很大的決心。 缺乏深度學習技術的研究人員是第二個問題。在協助幾個團隊之後發現,台灣的數理教育品質相對優良,理工科碩士論文要求對於前瞻的研究是很有幫助的。 在組織具有某些特質的工程師之後,透過適當的做中學、學中做的過程,還有我們十幾年在影像/視訊上成功跟失敗的經驗,是可以逐漸訓練出內部深度學習基本研發團隊、也能適性地將技術調整到適合的產品線上。 目前已經看到這樣的技術成果用在解決監控系統上常見的誤判的問題、照片標註、辨識、自動分類、edge端的精簡深度學習模型、或是利用各種感測器、攝影機進行未來事件預測等。甚至有些已經上線進行A/B test,交付給客戶的PoC、或是取代原本沒效率的人工分類等。 在這次的訪問當中,也將這幾個領先企業介紹給天下雜誌,但是因為公司內部的marketing跟財務時程,還不能公開披露目前的結果。 我們不選擇悲觀、抱怨、譏笑。許多團隊,也早就捲起袖子為企業帶來更具有競爭力的AI(深度學習)能力,開啟新的產品思維,如同全球企業忙著乘著巨浪向前。也感謝 天下雜誌 […]

May 10th, 2017

Quick and incomplete observations from GTC 2017

May 9th, 2017

2017 Microsoft Research Asia Collaborative Research Project Granted