To make photos more visually appealing, users usually apply filters on their photos. However, due to the growing number of filter types, choosing a proper filter is cumbersome. To address the issue, we propose a brand-new problem — filter recommendation for photo aesthetics.
To the best of our knowledge, there is no public dataset for aesthetic judgment with filtered images. We create a new dataset called Filter Aesthetic Comparison Dataset (FACD). It contains 28,160 filtered images based on the AVA dataset and 42,240 reliable image pairs with aesthetic annotations using Amazon Mechanical Turk. It is the first dataset containing filtered images and user preference labels. We also proposed neural networks based models augmented with multi-task and aesthetic-ranking-aware learning.
We also appreciate the research supports from MediaTek and MOST.
美的鑑賞，人工智慧也可以嗎？
除了物件辨識、下棋、自動駕駛之外，能不能利用深度學習的方法為生活中帶來「美」的元素？
為了讓消費者能在相片上增加不同的效果或改善影像的品質，許多apps提供濾鏡(filters)功能於使用者使用。以期可以在沒有任何修圖基礎下，輕易地改變圖片的風格。但是隨著濾鏡數量的大幅增加，如何在短時間選擇最好的濾鏡就成為使用上最大的問題。
因此，我們嘗試照片濾鏡美感推薦研究[1]。我們觀察到，絕大部分的使用者，美感的判斷是「相對的」，而不是「絕對的」，因此我們提出全新的卷積神經網路架，配置了相對美感函數，以幫助圖片美學的學習。藉由兩張圖片間的比較結果，提出深度學習模型，能夠將圖片的美學響應學習在設計的「美感隱藏層」中。實驗過程中我們也發現照片的類別（如人像、沙灘、森林等）也會影響到照片濾鏡的選擇，因此設計出的深度學習架構還具備多工學習的能力—同時辨識照片類別以及美感學習—以此提升美學感知能力。
為了訓練並評估新穎的應用，我們建立了第一個濾鏡美感數據集— Filter Aesthetic Comparison Dataset (FACD)。裡面包含將兩萬八千多張套用過濾鏡的圖片，並利用Amazon Mechanical Turk人工標註收集到四萬多個濾鏡圖片相對喜好。
做為國際多媒體研究社區的一員，我們也樂意將此數據集公開，讓全世界研究人員使用比較。
同時我們也感謝 MediaTek 以及 科技部 在產學大聯盟計劃的支持，讓我們團隊可以順利完成資料收集以及採購深度學習運算設備。
[1] Wei-Tse Sun , Ting-Hsuan Chao, Yin-Hsi Kuo, Winston Hsu. Photo Filter Recommendation by Category-Aware Aesthetic Learning. IEEE Trans. on Multimedia, 2017.
