當前位置:編程學習大全網 - 源碼下載 - 用於事件提取和生成的預訓練語言模型

用於事件提取和生成的預訓練語言模型

本文通過構建按角色分類的事件抽取模型,解決了事件抽取中角色重疊的問題,並在模型中考慮了角色的重要性。此外,還提出了壹種對自動生成的樣本數據進行評分,然後生成標註數據的方法。

原文地址:https://www.aclweb.org/anthology/P19-1522.pdf.

事件提取的目標是識別事件觸發器和事件參數。下圖顯示了壹個包含類型為“Meet”的事件的句子,其事件觸發詞是“meeting”,兩個參數分別是“President Bush”和“幾個阿拉伯領導人”。

在事件提取中有兩個主要問題需要解決:

本文提出的模型結構如下圖所示:

觸發詞提取器的目標是預測壹個詞是否可以引發壹個事件。因此,本文將觸發詞的提取視為詞級分類任務,僅使用BERT構建分類器作為觸發詞提取器。模型的輸入只有壹句話,在句首和句尾分別加上[CLS]和[SEP]。

很多情況下,壹個事件的觸發詞是壹個短語,所以本文把幾個具有相同預測標簽的連續詞視為壹個觸發詞。本文采用交叉熵作為損失函數對模型進行微調。

論元提取器的目標是根據事件觸發器提取相關的論元以及論元所扮演的所有角色。與觸發詞的提取相比,論元的提取更加復雜,主要原因有三。

為了解決後兩個問題,本文增加了幾組基於BERT的二元分類器。每個分類器用來判斷壹個角色的作用域,即哪些實參屬於這個角色。

本文用二元分類器來判斷壹個詞是壹個論元的開頭還是結尾,被判斷的詞用BERT嵌入來表示。

本文首先計算識別論點開始的兩個分類器的交叉熵損失函數L _ s和識別論點結束的兩個分類器的交叉熵損失函數L _ e的初始值,然後取它們的平均值作為論點提取器的損失初始值。

考慮到不同類型的論元角色具有不同的頻率,計算角色頻率RF和逆事件發生頻率IEF,根據這兩個值計算角色在事件中的重要性。並將這壹重要性應用於L s和l e的計算。

數據生成的流程圖如下圖所示。

本文采用ACE2005數據集作為實驗數據,實驗結果如下圖所示:

  • 上一篇:八數碼問題 C語言 廣度優先 其他也OK
  • 下一篇:WebQQ最新協議源代碼
  • copyright 2024編程學習大全網