CCF-BDCI 視頻版權(quán)檢測(cè)

隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展和智能手機(jī)的普及，短視頻已經(jīng)成為重要的信息傳播媒介，與此同時(shí)也帶來了大量針對(duì)版權(quán)長(zhǎng)視頻的侵權(quán)行為。為了保護(hù)視頻制作公司及原創(chuàng)者權(quán)益，需要通過自動(dòng)化方式進(jìn)行針對(duì)短視頻的侵權(quán)行為檢測(cè)。當(dāng)前的侵權(quán)行為出現(xiàn)多樣化及規(guī)模化特點(diǎn)，侵權(quán)視頻多經(jīng)過復(fù)合變換，要求算法模型中圖像特征具有一定魯棒性，并且有較快執(zhí)行速度和并發(fā)能力。

賽題介紹

本次競(jìng)賽將考察經(jīng)過復(fù)合變換后的短視頻關(guān)聯(lián)到對(duì)應(yīng)長(zhǎng)視頻的算法效果，其中不僅要找到短視頻的原始長(zhǎng)視頻，還要計(jì)算出對(duì)應(yīng)的時(shí)間段。過程中可能包括視頻解碼抽幀、視頻或圖像特征及指紋、視頻相似檢索等相關(guān)算法及技術(shù)方案。除了考察視頻特征的魯棒性外，也需要算法模型有一定的實(shí)時(shí)及并發(fā)能力。

比賽鏈接：

https://www.datafountain.cn/competitions/354

refer版權(quán)庫(kù)視頻

query侵權(quán)視頻

對(duì)于query侵權(quán)視頻，可能會(huì)進(jìn)行如下變換操作：

賽題的任務(wù)需要根據(jù)query找到refer，并且找到query中侵權(quán)部分與refer中對(duì)應(yīng)的關(guān)系。如下圖橙色部分為侵權(quán)部分，需要確定query視頻中q_start和q_end位置，以及refer視頻中的r_start和r_end位置。

Top1?恒揚(yáng)數(shù)據(jù)

視頻版權(quán)監(jiān)測(cè)賽題的核心任務(wù)是在兩個(gè)視頻中找出內(nèi)容相同，畫面相似的視頻片段（即拷貝片段），拷貝片段長(zhǎng)度是幾十秒至幾分鐘的視頻圖像。所謂內(nèi)容相同是指指觀看者看到的語義信息相同。畫面相似包括不同形式的圖像變形，如畫面剪裁，飽和度改變，加字幕和LOGO，視頻剪輯等處理。

競(jìng)賽任務(wù)有三個(gè)數(shù)據(jù)集：參考集，訓(xùn)練集和測(cè)試集。參考集是版權(quán)視頻，有205個(gè)視頻文件，平均時(shí)長(zhǎng)為40分鐘。訓(xùn)練集和測(cè)試集都是2至4分鐘的視頻片段，其中的拷貝片段只有1分鐘，嵌入在片段的頭部或中部。競(jìng)賽要求為每個(gè)查詢視頻（訓(xùn)練集或測(cè)試集）包含的拷貝片段找到參考集對(duì)應(yīng)的視頻文件和兩個(gè)拷貝關(guān)系片段的開始時(shí)間和結(jié)束時(shí)間。

賽題的挑戰(zhàn)和難點(diǎn)在于視頻的變形程度，本次比賽中最難的變形是某些視頻做了大幅度的裁剪：比如原視頻有兩個(gè)主持人，被裁成了一個(gè)，還有的視頻把整個(gè)人的畫面裁成只剩一只手等等。

參考集提取到視頻特征向量后構(gòu)建視頻版權(quán)庫(kù)，訓(xùn)練集和測(cè)試集的圖片特征向量在版權(quán)庫(kù)里面查找最近鄰的圖片特征向量（L2距離計(jì)算），返回前top-k個(gè)近鄰值，然后通過視頻匹配算法得到最終的匹配結(jié)果，該思路涉及到三個(gè)主要的算法：圖片特征提取算法，搜索算法，視頻匹配算法。

特征提取算法：提出一個(gè)卷積層特征+Gaussian_R-MAC的特征提取方法，增加中央部分的圖像權(quán)重，這種方法能夠有效解決裁剪和畫面質(zhì)量下降等變形；

視頻匹配算法：根據(jù)每個(gè)侵權(quán)視頻的圖片在版權(quán)庫(kù)中搜索返回的top-k最近鄰進(jìn)行視頻匹配。

針對(duì)裁剪嚴(yán)重這一類情況，最初的思路是，只捕捉畫面中央部分的特征，應(yīng)該能大大提升算法的識(shí)別能力。但是通過實(shí)踐證明只捕捉中央部分是行不通的，而應(yīng)該改為加強(qiáng)圖片中央部分特征的權(quán)重，同時(shí)降低周圍區(qū)域特征的權(quán)重。最終在原算法的基礎(chǔ)上引入二維高斯分布+RMAC算法，一舉將成績(jī)提升10幾個(gè)百分點(diǎn)，分?jǐn)?shù)直升95分。

Top2?博云視覺

此次參賽的視頻檢索方案的核心思想和算法流程是基于博云視覺團(tuán)隊(duì)在2019年剛剛完成的CDVA國(guó)際標(biāo)準(zhǔn)而制定的。在此基礎(chǔ)上，博云視覺團(tuán)隊(duì)針對(duì)這次比賽對(duì)其進(jìn)行了一定的改進(jìn)。總體來說，博云視覺團(tuán)隊(duì)對(duì)查詢視頻和參考視頻進(jìn)行了關(guān)鍵幀識(shí)別、基于關(guān)鍵幀的CDVS手工設(shè)計(jì)特征和深度特征提取，并基于這些特征進(jìn)行視頻的檢索匹配，最終生成具有匹配得分的視頻對(duì)集合。

為了精準(zhǔn)對(duì)齊視頻對(duì)的幀序列時(shí)間節(jié)點(diǎn)，博云視覺團(tuán)隊(duì)設(shè)計(jì)了基于CDVS特征的時(shí)序節(jié)點(diǎn)濾波方法，該方法以CDVS特征為基礎(chǔ)，融合幀排序、時(shí)間節(jié)點(diǎn)噪聲抑制、對(duì)雙視頻序列進(jìn)行相關(guān)濾波從而得到視頻對(duì)的對(duì)齊節(jié)點(diǎn)，完成精準(zhǔn)的時(shí)序匹配。

下面詳細(xì)介紹該算法方案中使用到的相關(guān)技術(shù)，CDVS是“面向視覺搜索的緊湊描述子”，是類似于sift的手工特征，該特征可用于單張圖像的檢索和匹配。其提取包括5個(gè)流程，興趣點(diǎn)的選擇與局部特征描述，局部特征選擇，局部特征描述子壓縮，局部特征位置點(diǎn)壓縮，最后進(jìn)行局部特征描述子聚合。博云視覺團(tuán)隊(duì)設(shè)計(jì)的CDVS特征基于GPU，單機(jī)每秒可提取200張圖像特征，特征大小為可伸縮的，可以實(shí)現(xiàn)512byte到16K不同特征大小的交叉匹配。

CDVA是“面向視頻分析的緊湊描述子”，旨在對(duì)視頻進(jìn)行匹配、檢索任務(wù)，是CDVS圖像搜索的拓展。博云視覺團(tuán)隊(duì)首先使用顏色直方圖完成視頻關(guān)鍵幀的快速定位，此后基于關(guān)鍵幀，結(jié)合NIP深度特征和CDVS手工設(shè)計(jì)特征實(shí)現(xiàn)精準(zhǔn)的幀級(jí)視頻對(duì)匹配，從而快速地完成視頻序列匹配任務(wù)。同時(shí)，從上圖(右下)可以看到，深度特征對(duì)圖像的旋轉(zhuǎn)角度非常敏感，(紅色曲線為深度特征在兩個(gè)數(shù)據(jù)集上的檢索性能，橫軸為旋轉(zhuǎn)角度，)當(dāng)旋轉(zhuǎn)一定角度后，深度特征檢索性能明顯下降；

Top3?小賈的老梁

構(gòu)建參考視頻幀級(jí)特征庫(kù)，之后使用短視頻的幀特征在特征庫(kù)中進(jìn)行檢索通過匹配策略找到長(zhǎng)視頻，再逐幀比對(duì)特征確定侵權(quán)段，方案由特征提取、被侵權(quán)視頻檢索，被侵權(quán)視頻段定位三部分組成。在特征提取階段中，老梁團(tuán)隊(duì)采用Hessian Affine特征提取+SIFT描述子提取局部特征，然后采用Fisher vector將局部特征編碼為二進(jìn)制的全局特征。之前的工作證明，用該方式提取特征具有很好的區(qū)分度和魯棒性。

其次，為了排除同時(shí)處理多個(gè)參考長(zhǎng)視頻對(duì)檢測(cè)定位精度的影響，老梁將整個(gè)版權(quán)檢測(cè)過程分為兩個(gè)階段：在第一階段中，他采用求帶權(quán)二部圖的最大匹配的方式，找到與查詢短視頻能在一對(duì)一幀匹配的約束下，匹配權(quán)重和最大的長(zhǎng)視頻。之后在該長(zhǎng)視頻中，通過找到在密集匹配約束下的最長(zhǎng)遞增子序列來精確定位侵權(quán)段，即在該階段匹配幀對(duì)時(shí)，不僅要求其滿足一對(duì)一的約束關(guān)系，同時(shí)要滿足匹配在時(shí)間上的順序性和密集性。

然后，使用求帶權(quán)二部圖的最大匹配的思路尋找被侵權(quán)視頻，即在一對(duì)一的幀匹配的限定條件下，對(duì)檢索到的參考視頻集中的每個(gè)參考視頻段，求其與查詢視頻段形成的帶權(quán)二分圖中的最大匹配。將匹配權(quán)重和最大的參考視頻作為被侵權(quán)視頻。

Top4 葫蘆兄弟

根據(jù)賽題任務(wù)要求，賽題具體任務(wù)為根據(jù)query視頻找到對(duì)應(yīng)的refer視頻，并且找到query視頻中qstart與qend時(shí)間與對(duì)應(yīng)refer視頻中的rstart與rend時(shí)間。因此賽題任務(wù)具體可以分為兩個(gè)子任務(wù)：

（1）?視頻對(duì)應(yīng)：根據(jù)query視頻找到對(duì)應(yīng)的refer視頻；

（2）?視頻時(shí)間軸對(duì)應(yīng)：找到query視頻中qstart與qend時(shí)間與對(duì)應(yīng)refer視頻中的rstart與rend時(shí)間；

根據(jù)問題子任務(wù)的對(duì)應(yīng)關(guān)系，問題整體的解決思路如下：

在現(xiàn)有的圖像檢索技術(shù)中CNN特征是非常有效的特征，其利用GPU加速可使提取速度增快，且對(duì)圖像的內(nèi)容語義進(jìn)行編碼，是非常適合用于圖像檢索的特征。在query視頻與refer視頻的對(duì)應(yīng)任務(wù)中就是利用視頻關(guān)鍵幀的CNN特征完成檢索過程，具體過程步驟如下：

（1）對(duì)query視頻關(guān)鍵幀提取ResNet18網(wǎng)絡(luò)的卷積特征，并進(jìn)行L2正則化；對(duì)refer視頻關(guān)鍵幀提取ResNet18網(wǎng)絡(luò)的卷積特征，并進(jìn)行L2正則化；

（2.1 最初版）對(duì)于每一個(gè)query視頻關(guān)鍵幀，利用其CNN特征在refer視頻關(guān)鍵幀中搜索得到最相似的refer視頻關(guān)鍵幀，且關(guān)鍵幀之間的相似度大于閾值；

（2.2 改進(jìn)版）對(duì)于每一個(gè)query視頻關(guān)鍵幀，利用其CNN特征在refer視頻關(guān)鍵幀中搜索得到最相似Top100的refer視頻關(guān)鍵幀，且關(guān)鍵幀之間的相似度小于閾值。進(jìn)而將query視頻關(guān)鍵幀與refer視頻關(guān)鍵幀進(jìn)行ORB關(guān)鍵點(diǎn)匹配進(jìn)行二次篩選；

（3）對(duì)于同一個(gè)query視頻，將該視頻的關(guān)鍵幀搜索得到的refer視頻關(guān)鍵幀進(jìn)行篩選，利用refer視頻次數(shù)以及關(guān)鍵幀相似度兩個(gè)角度篩選得到；

利用上述步驟，就可以完成找到query視頻與refer視頻的對(duì)應(yīng)關(guān)系。在具體實(shí)踐步驟中使用了HNSW庫(kù)來完成CNN特征的近似搜索，最終在訓(xùn)練集上query視頻與refer視頻的對(duì)應(yīng)準(zhǔn)確率為2650/3000。

Top5?顏值均值98方差100

算法流程具體主要分為三個(gè)部分：視頻解幀、特征提取、以及檢索比對(duì)算法設(shè)計(jì)。

在視頻解幀方面，主要介紹北航團(tuán)隊(duì)針對(duì)比賽數(shù)據(jù)設(shè)計(jì)的視頻幀采樣方案，也包含了部分觀察比賽數(shù)據(jù)特點(diǎn)方面的探索。

在特征提取方面，將簡(jiǎn)單介紹北航團(tuán)隊(duì)針對(duì)視頻中部分噪音的針對(duì)性圖像處理方案，以及為了節(jié)約計(jì)算成本和計(jì)算資源而采用的特征提取方案。

檢索比對(duì)工作在得到每段視頻的所有幀特征之后開始進(jìn)行。檢索比對(duì)工作主要分為三個(gè)部分，對(duì)于每段查詢視頻：首先，確認(rèn)其涉嫌抄襲的refer集；其次，需確認(rèn)其抄襲的片段在查詢視頻中的起始點(diǎn)；最后，確認(rèn)抄襲片段在檢索視頻中的起始點(diǎn)。具體流程如下：

總結(jié)

前五名的思路大體類似，具體在特征提取提取方式上有一些差異：

• Top1：使用CNN淺層特征 + RMAC

• Top2：深度局部特征CVDS

• Top3：SIFT +?匹配二分圖

• Top4：CNN +?關(guān)鍵幀匹配

• Top5：CNN + 相似度矩陣

完整的Top5隊(duì)伍的分享講義，

關(guān)注作者公眾號(hào)并回復(fù)【視頻版權(quán)】

往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)在線手冊(cè)深度學(xué)習(xí)在線手冊(cè)AI基礎(chǔ)下載（pdf更新到25集）本站qq群1003271085，加入微信群請(qǐng)回復(fù)“加群”獲取一折本站知識(shí)星球優(yōu)惠券，請(qǐng)回復(fù)“知識(shí)星球”喜歡文章，點(diǎn)個(gè)在看

讓我知道你在看

總結(jié)

以上是生活随笔為你收集整理的【数据挖掘】视频版权检测优胜解决方案的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。