数字图像处理：第二十三章 基于内容的图象与视频检索
第二十三章基于內容的圖象與視頻檢索
目錄
1.??? 引言
2.??? 基于內容檢索的圖象特征
3.??? 基于內容的視頻標注與檢索
作業
1. 引言
隨著社會的信息化發展日益深入，互連網日益普及，越來越多的圖象和視頻信息是以數字方式存儲的，如何有效地管理和利用這些以圖象和視頻的方式存儲的信息成為十分重要的問題。
目前在圖象數據庫和視頻信息系統中，檢索主要是根據隨圖象和視頻信息一起存儲的文本描述進行的，通常這些文本十分簡潔，主要含有拍攝時間、地點、拍攝者信息，對圖象本身的內容描述如果不是沒有的話，也是十分簡短的，難以滿足實際檢索時多方面的需要。基于內容的圖象和視頻檢索研究的目的是直接根據圖象和視頻本身的信息，抽取檢索特征，建立索引樹，再根據一定的相似性衡量標準，實現檢索。
白雪生的博士論文[2]全面深入地研究了基于內容的檢索問題，是這方面一個很好的參考資料，建議讀者仔細閱讀。
2. 基于內容檢索的圖象特征
??? 對于支持基于內容的圖象檢索的數據庫而言，必然支持兩種主要的數據結構：物體和場景（objects and secenes）[1]。場景是一幅圖象，其中可以含有一個或更多個物體，也可以沒有物體，物體是場景的一部分。例如，汽車是交通場景的一個物體。這兩種數據類型需要按照它們的視覺特征來表示，包括顏色、紋理（texture）、形狀（shape）、位置以及作為線條圖草圖（line sketches）時的邊界之間的關系。
??? 常用的圖象特征是顏色和紋理，此外對于物體檢索而言，圖象特征還包括幾何特征如形狀、尺寸和位置，此外還有基于草圖的特征，例如刻畫出圖象中物體形狀和方向的簡單線條圖特征。目前的圖象檢索方法主要根據彩色直方圖特征和紋理度量特征，比較簡單的方法有基于主顏色和顏色直方圖的檢索，更復雜的方法需要結合區域的位置關系（如上半個圖表示天空和云彩，下半個圖表示地面上的景物等）和幾何形狀（如圓形、線條框或輪廓等）信息按分層的方式綜合起來，此外還可以根據用戶的反饋信息利用機器學習的方法改進基于內容的圖象檢索算法。
??? 基于內容的圖象檢索的結構[1]如下圖所示：
??? 特征的相似性比較主要有歐氏距離和Mahalanobis距離：
其中C是X的協方差矩陣。當假設特征分量之間相互獨立時，C具有對角形式，即可以單獨計算各自分量的方差。
?
??? 例如，白雪生博士提供了如下的一些圖象檢索圖片：
·????????基于主顏色的圖象檢索
·????????基于紋理的檢索
3. 基于內容的視頻標注與檢索
??? 視頻內容的標注與檢索是十分復雜而困難的問題，目前與圖象檢索一樣都處在初期階段。在視頻的標注方面，比較成熟的技術是鏡頭（shot）分割、關鍵幀（key frame）提取，在此基礎上形成鏡頭組織，包括場景層次圖（SHG, Scene Hierarchy Graph）和場景轉換圖（Scene Transition Graph）。目前自動進行鏡頭組織的方法還難以達到令人滿意的結果，人工交互組織不可避免。在這方面白雪生做了深入的研究工作，在其博士論文[2]中提出了利用相似順序圖對鏡頭進行組織的算法。根據鏡頭組織，可以實現基本的視頻檢索和瀏覽功能，此外白雪生提出了一種基于鏡頭頻度進行檢索的思想和算法，取得了較好的效果[2]。
??? 以下給出白雪生的部分實驗結果[2]，使讀者有個基本認識：
圖3.1鏡頭分割
圖 3.2 按時間順序排列的鏡頭代表幀序列
圖 3.3 由相似順序圖得到的鏡頭組織
圖3.4 場景層次圖（SHG）
圖3.5(a)場景轉換圖（STG）（底層）
圖3.5(b) 場景轉換圖（STG）（組織層）
圖3.6 鏡頭頻度圖
參考文獻
1.?????BorkoFurht, Stephen W. Smoliar, HongJiang Zhang, Video and image processing inmultimedia systems, Kluwer Academic Publishers, Boston ,1995.
2.??? 白雪生，基于內容檢索及其相關技術的研究，清華大學博士論文，1998.7
致謝
??? 我要特別感謝清華大學計算機系的白雪生博士，本章所有的圖片都是他提供的。
作業
返回主目錄返回本章目錄
清華大學計算機系 艾海舟
最近修改時間：2000年4月14日
出處：http://media.cs.tsinghua.edu.cn/~ahz/digitalimageprocess/CourseImageProcess.html總結
以上是生活随笔為你收集整理的数字图像处理：第二十三章 基于内容的图象与视频检索的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 数字图像处理：第二十二章 基于模型的编码
- 下一篇： 数字图像处理：附录-程序实例、参考文献、