List

 

無人機大量物件偵測與計算以及公開資料集

 

Along with the acceptance of ICCV 2017, we are happy to announce the first drone-based object (e.g., vehicle) counting dataset available for public use. The Car Parking Lot Dataset (CARPK) contains nearly 90,000 cars and annotations from 4 different parking lots collected by drones (PHANTOM 3 PROFESSIONAL) at approximate 40 meters height.

For leveraging drones for productive object localization and counting, we address the first few object counting problem by leveraging spatial layout information (e.g., cars often park regularly) and introducing the spatially regularized constraints into the neural networks for improving the localization accuracy. We show the proposed method outperforming strong baselines such as YOLO, Faster RCNN, etc., in terms of localization recall and counting accuracy.

We acknowledge the multi-year project supports from MediaTek and the DGX-1 supercomputer and grants from NVIDIA.

為了善用無人機在交通、管理、安全上的應用,我們首次成功設計無人機視角的(大量)物件計算以及偵測演算法,並利用了重複物件之間的位置相關性來設計新的卷積網路。為了驗證這個嶄新的應用,我們標註了將近九萬個的車輛物件,為目前唯一支持相關研究的資料集,並且公開讓研究社群使用。我們提出數種效能評估方式,並與其他的物件偵測演算法比較(例如: faster R-CNN, YOLO 等)。提出的方法都顯現出優異的效能。我們也希望研究社群,可以本於此研究以及資料集,繼續發覺無人機的優異效能。

我們得感謝聯發科 MediaTek 這幾年來大聯盟計畫上實質的協助跟研究方向的支持;也感謝 NVIDIA在研究經費以及GPU設備上的大力相助。

[1] CARPK dataset: https://lafi.github.io/LPN/

[2] Meng-Ru Hsieh, Yenliang Lin, Winston H. Hsu. Drone-based Object Counting by Spatially Regularized Regional Proposal Networks. ICCV 2017.

  Posts

1 2 3 4
July 25th, 2017

Our CVPR 2017 Paper Highlighted in NVIDIA Corporate Blog

July 24th, 2017

NVIDIA AI Lab Meetup in CVPR 2017 and new V100 GPUs

July 18th, 2017

Drone-View Object Localization/Counting and Public Vehicle Dataset (CARPK)

July 2nd, 2017

Publications vs. Industry Needs (發表學術論文跟產業脫節?)

June 9th, 2017

Team management, productivity, and appreciation

June 1st, 2017

Practical advises for embracing AI-savvy products (Hosting AI Forum in InnoVEX 2017)

May 24th, 2017

Image to Poetry — 看圖造新詩

May 15th, 2017

島內AI的隱形驅動力

前陣子協助 天下雜誌 副總編輯 Yi-Shan Chen 完成AI專輯 [AI全面啟動Ⅰ:科技島國的翻身契機]。 我在紐約,這段時間,Yi-Shan透過FB的訪談跟資料詢問,我感受到她的焦慮,急著摸清楚這個浪潮的來龍去脈,以及我們該做的、或是已經做到的。 初稿完成,正如Yi-Shan所說的,她不那麼悲觀了。或是說我們也沒有悲觀的權利。 我的觀察。 2016年初開始,國內幾家領先企業也開始注意到AI(深度學習)浪潮可能對公司的影響。已經開始研究如何在既有的核心業務上善用這些前瞻技術。 這不是將開源的類神經網路拿來使用就好、或是付費API可以全然解決。首先產品需要的偵測/辨識的項目跟benchmark資料完全不同、產品大部分是multi-label的問題而不是大家常討論的multi-class、訓練資料的取得跟缺乏、應用場域資料型態差異、學習model的參數過大、耗電、運算時間、或是在使用者端自動調適學習等。產品佈建跟論文討論的範疇有著相當大的差異。 領導者(執行長、董事長)的決心是最關鍵的問題。因為引進新的機器學習paradigm之後,牽涉到資源配置、薪資結構、產品pipeline(如使用者資料收集、AI引擎的更新)、新產品的定位等,需要很大的決心。 缺乏深度學習技術的研究人員是第二個問題。在協助幾個團隊之後發現,台灣的數理教育品質相對優良,理工科碩士論文要求對於前瞻的研究是很有幫助的。 在組織具有某些特質的工程師之後,透過適當的做中學、學中做的過程,還有我們十幾年在影像/視訊上成功跟失敗的經驗,是可以逐漸訓練出內部深度學習基本研發團隊、也能適性地將技術調整到適合的產品線上。 目前已經看到這樣的技術成果用在解決監控系統上常見的誤判的問題、照片標註、辨識、自動分類、edge端的精簡深度學習模型、或是利用各種感測器、攝影機進行未來事件預測等。甚至有些已經上線進行A/B test,交付給客戶的PoC、或是取代原本沒效率的人工分類等。 在這次的訪問當中,也將這幾個領先企業介紹給天下雜誌,但是因為公司內部的marketing跟財務時程,還不能公開披露目前的結果。 我們不選擇悲觀、抱怨、譏笑。許多團隊,也早就捲起袖子為企業帶來更具有競爭力的AI(深度學習)能力,開啟新的產品思維,如同全球企業忙著乘著巨浪向前。也感謝 天下雜誌 […]

May 10th, 2017

Quick and incomplete observations from GTC 2017

May 9th, 2017

2017 Microsoft Research Asia Collaborative Research Project Granted