走向AI摄影终极之路 AVA数据集后时代与发展?
編輯:葉琰
簡介
? ? ? ? 前面兩篇已經介紹過當今最大的美學數據集AVA以及AVA之前的數據集,AVA數據集的發布是2012年,離現在已經過去了5年,在機器學習迭代如此頻繁的日子里,必然會出現新的數據集。
? ? ? ? 本文就略作介紹,也是數據集介紹的最后一篇文章。在準備好這些之后,就要開始真正的搞起了!
1,AADB【1】(Aesthetic with Attributes Database)
? ? ? ? 總的來說,AADB算是AVA數據集的一個補充。標注的方式,是請了5個人,最終的score取5個人的平均值,共10000張圖。除了標注分數外,也標注了11個屬性。
與AVA數據集的區別主要在于:
? ? a) AVA中包含了很多非真實的攝影圖,以及后期處理過的圖,所以AVA中分數超過5分(滿分為10分)的占據絕大多數。但是AADB中,則更多地考慮了專業攝影者和普通拍照者圖的均衡,基本是1:1。
? ? b) 由于標注者少,AADB專門去分析了標注者的標注一致性。間接反映出標注者的質量,也就是證明了標注者是具有很高的標注水準。結果具有了很高的一致性,是可靠的;
? ? c) 關于圖像屬性,也就是風格的標注,AADB給AVA做了補充。
? ? ? ? 與AVA一樣,AADB也標注了屬性,那有什么不同呢?
? ? ? ? 那么,我們先回顧一下AVA的14個屬性,括號內是包含該屬性的圖的數量:Complementary Colors (949), Duotones (1,301), High Dynamic Range (396), Image Grain (840), Light on White (1,199), Long Exposure (845), Macro (1,698), Motion Blur (609), Negative Image (959), Rule of Thirds (1,031), Shallow DOF (710), Silhouettes (1,389), Soft Focus (1,479), Vanishing Point (674).
然后我們看看AADB的11個屬性。
? ? 1. “balancing element” – whether the image contains balanced elements;
? ? 2. “content” – whether the image has good/interesting content;
? ? 3. “color harmony” – whether the overall color of the image is harmonious;
? ? 4. “depth of field” – whether the image has shallow depth of field;
? ? 5. “lighting” – whether the image has good/interesting lighting;
? ? 6. “motion blur” – whether the image has motion blur;
? ? 7. “object emphasis” – whether the image emphasizes foreground objects;
? ? 8. “rule of thirds” – whether the photography follows rule of thirds;
? ? 9. “vivid color”–whether the photo has vivid color, not necessarily harmonious color;
? ? 10. “repetition” – whether the image has repetitive patterns;
? ? 11. “symmetry” – whether the photo has symmetric patterns.
? ? ? ? 除去Shallow DOF,lighting,Rule of Thirds,Motion Blur之外,其他都是多出來的,舉了例子如下:
這些屬性的分布示例如下:
看看他們的標注示意圖吧。
高分圖:
低分圖:
2,AADB之后,文【2】又提出了新的數據集
? ? ? ? 說了一下前兩者的缺點:
? ? ? ? AVA的主要缺點:很多圖都被后期過。
? ? ? ? AADB的主要缺點:基本上是原圖,但是數據集太小,標注人員也太少。
? ? ? ? 而本文是從flickr爬取的300多萬,2004~2016年間的圖,每一張圖都包括:
? ? ? ? number of views(閱讀量), comments(評論), favorite list containing this photo(被喜歡量), title of the image and their description from the Flickr website.
? ? ? ? 平均每一張圖被訪問過7000次。
? ? ? ? 這么多的圖,顯然不可能人工標注:因此采用了上面的一些信息來做標注label
以被喜歡量F(i),比上訪問量V(i)的對數,來評估其美學質量,這可以說是一個很客觀的指標了:
更詳細的比較結果如下:
3,后續的數據集的展望
? ? ? ? 類似于【2】的做法,在【3】中也出現了。
? ? ? ? 在看完三個數據集的介紹之后,想必大家心里也有了一個路線圖。
? ? ? ? (1) 最開始的時候:數據集比較小,大家只標注個高質量與低質量的二分類。
? ? ? ? (2) 到后來,數據集增加,標注了具體的分數,還增加了屬性。
? ? ? ? (3) 到最新,數據集到百萬級別,已經無法再做很細致的人工標注,在往無監督的方向。
[1] Kong S, Shen X, Lin Z, et al. Photo Aesthetics Ranking Network with Attributes and Content Adaptation[J]. 2016:662-679.
[2] Schwarz K, Wieschollek P, Lensch H P A. Will People Like Your Image?[J]. 2016.
[3] Suchecki M, Trzcinski T. Understanding Aesthetics in Photography using Deep Convolutional Neural Networks[J]. 2017.
? ? ? ? 隨著攝影平臺積累的數據和用戶的手動標注信息越來越多,相關的公司和團隊在這個研究上將具有絕對壓倒性的優勢。
? ? ? ? 這里還是給自己的攝影分享公眾號《言有三工作室》和攝影平臺500px,圖蟲做個宣傳。
????????知乎專欄已經開通,歡迎來吐槽,投稿https://zhuanlan.zhihu.com/c_146817036?group_id=923257138554384384
土豪們打個賞就收下了,哈哈哈。
總結
以上是生活随笔為你收集整理的走向AI摄影终极之路 AVA数据集后时代与发展?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 传统方法怎么玩计算机审美
- 下一篇: 从alexnet到resnet,初探深度