文獻筆記
多媒體事件抽取注釋指南

下載地址http://blender.cs.illinois.edu/software/m2e2/

文本注釋參考ACE的注釋方法，本文重點介紹圖像注釋的方法

1 Introduction

在本文中，我們提出了一種多媒體事件提取（M2E2）任務，其中輸入是具有圖像的文本新聞文章，輸出是從文本和圖像模件中提取的事件。我們構建來自美國VOA網址2006-2017的108,693個多媒體新聞文章的M2E2的數據集，并根據三個標準選擇245個多媒體文件作為注釋集：（1）信息性：有更多事件提到的文章; （2）插圖：更多圖像的文章（至少四個）;（3）多樣性：平衡事件類型分布。對于第一個和第三個標準，我們使用基線僅限唯一的事件提取模型（Li等，2019）來估算每個文章中每個事件類型的事件提到的事件數量。
我們在文本和視覺事件注釋事件類型和參數角色。注釋過程如表1.完成文字無關和圖像無關的注釋之后，要求專家注釋器進行裁決。 我們不標記所有事件，只標記ACE本體的特定子集，如表2所示

文本注釋包含事件類型（event type）注釋和論元（argument）注釋。
我們?yōu)槊總€事件觸發(fā)器分配一個事件類型（單詞或詞組可以最清楚地表示事件發(fā)生）以及每個參與者的論元角色（實體，時間或值的表達）。 在這里，我們專注于句子內事件提取，而不是交叉的跨句或跨文檔情況 。

可視事件注釋包括事件類型注釋和論元注釋。 如果圖像包含預定義的事件類型，我們將為每個圖像分配事件類型，并分配參數角色
到相應的邊界框。 事件類型注釋未在圖像中定位特定區(qū)域，而是將整個圖像用作判斷。
在每種模式中單獨注釋事件和參數后，我們要求注釋者找到對應于同一事件實例（即，在相同位置和時間發(fā)生的相同事件類型）的圖像句子對。
本指南的重點是如何注釋圖像中的事件（event）和論元角色（argument role）。 有關文本事件注釋的更多詳細信息，請參閱ACE英語事件注釋準則

2 Image Event Type Annotation

圖像事件的注釋：Caption as reference（字幕作為參考）。決定圖像事件類型時，他的圖像標題用作參考。 僅通過圖像本身確定事件類型可能會模糊，如圖1，2，3

圖1應該是【移動】

圖2應該是【游行】

圖3應該是【慶祝】

當圖片中暗示的事件不在字幕中，也對圖像標注。如圖4

（圖4字幕：比利時總理查爾斯米歇爾（Charles Michel）中心地址比利時議會宣布在近期致命巴黎襲擊之后宣布安全措施，于2015年11月19日的布魯塞爾。字幕沒有顯示meet和phone-writer事件但是可以從圖片中識別出對應的動作）

如果圖像沒有顯示某些動作尤其是沒有顯示從標題中標記的事件，如圖5，它也不會標記。

（圖5雖然字幕寫著是死亡事件但是圖片中沒有相應動作，不對圖片標注）

Multiple events in one image
一張圖片中有多種事件
1圖片暗示了多種事件，如圖4，圖像標注多種事件類型
2圖片的字幕暗示了多種事件，如圖7，只有當圖片確實暗示了字幕中的多種事件時，我們才會對圖像進行多種事件的標注

(雖然“protester”這個詞意味著一個conflict.demonstrate事件，我們只將此圖像標記為justice.arrestjail，因為圖片只顯示了【arrestjail】事件，而protester對應conflict.demonstrate事件在圖片中并沒有顯示。 圖片標題：警察在2014年3月2日逮捕了抗議者)

3 Image Event Argument Annotation

圖像事件論元注釋
Union and Instance Bounding Boxes我們采用邊界框，覆蓋目標的最小區(qū)域，以標記事件參數。使用兩個粒度的邊界框，即Union-Level和InstanceLevel。如圖8，每個角色的union邊界框是一個涵蓋了所有參數最小的邊界框 。
相比下，the instance bounding box 指定每個視覺對象實例，即一個論元，如圖9，每個角色都有多個實力邊框盒。實例邊框盒的標注參照 the visual object annotation guideline VOC 2011 Annotation

Guidelines4.http://host.robots.ox.ac.uk/pascal/VOC/voc2011/guidelines.html

**Extended Roles.**基于觀察結果，某些視覺參數通常不太可能在文本中顯示，我們將從ACE注釋指南中擴展了一些事件類型的參數列表。例如，conflict中的“instrument”。demonstrate事件（展示事件），通常是海報或板，文本中的頻率遠低于圖像，但提供了很多信息。
Skipped Roles.
如“place”，太抽象是圖像中的實例。因此，我們不會在圖像事件參數注釋中標記那些模糊的爭論角色。

總結

以上是生活随笔為你收集整理的Multimedia Event Extraction (M2E2) Annotation Guideline V0.1的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。