仓库源文，站点原文

title: "轻量级篇章事件抽取: PTPCG" categories:

• Machine Learning tags: NLP updated: 2023-01-14 comments: true mathjax: true

起点是 ChFinAnn 数据集, 和它的 SOTA 榜单. 其中

• Zhu, T., Qu, X., Chen, W., Wang, Z., Huai, B., Yuan, N. J., & Zhang, M. (2021). Efficient Document-level Event Extraction via Pseudo-Trigger-aware Pruned Complete Graph. arXiv preprint arXiv:2112.06013. [Code]

看起来很不错, 模型比其他人轻量很多, 训练资源要求少 (对比 Doc2EDAG 等涉及到动态建立图神经网络的巨大计算资源需求), 推理速度也快, 效果和其他人相当.

事件抽取

每个事件有这些要素: 事件类型 (比如 "股东增持"), 事件角色 (比如 "增持方", "交易股份数量" 等多个预先定义的字段), 事件论元 (arguments, 事件角色对应的实体, 比如 "xx公司", "oo股" 等).

此外还可能有触发词 (triggers), 帮助识别事件类型.

文档级 (篇章级) 事件抽取的两大难点是 (1) 一个事件的论元可能散布在多个句子中 (一篇文档由多个句子组成) (2) 一篇文档包含多个事件.

2020 语言与智能技术竞赛--事件抽取方案整理

数据集

• ChFinAnn: Ten years (2008-2018) ChFinAnn documents and human-summarized event knowledge bases to conduct the DS-based event labeling.
• CCKS 2020 面向金融领域的篇章事件要素抽取: 互联网上的新闻文本，上市公司发布的公告文本（PDF文档已转成无结构化的文本内容）
• 千言数据集: DuEE-fin 金融领域篇章级事件抽取数据集
• 其他数据集

PTPCG

Pseudo-Trigger-aware Pruned Complete Graph (PTPCG)

输入文档中所有句子

1. 分句后用 BiLSTM encoding
2. 事件多标签分类 (图左上的 event detection) 和实体抽取 (第 1 步的 BiLSTM + CRF 序列标注, 然后做一些操作生成实体的表示)
3. 计算实体之间语义相似度, 构建一个图 (每个结点是实体, 两个实体之间是否有边取决于相似度是否超过阈值, 详见下一节)
   • 完全图 (complete graph) 指所有结点互相连接的图, 而标题中的 pruned 来自这一步: 根据相似度决定是否相连, 达到剪枝目的.
4. 从图中解码出每个事件的论元.
   • 这一步基于假设: 同一个论元组合中的实体在语义空间中互相接近 (arguments in the same combination are close to each other in the semantic space), 意味着他们在上述构造的图中应当有边连接. 一个论元组合是包含若干实体 (论元) 的集合.
   • 先解码出论元组合, 再判断这个组合的事件类型, 以及其中实体对应的事件角色.

图的细节

构造有向图. 记两个实体的表示分别为 $e_i$ 和 $e_j$, 先分别经过不同的全连接层, 即

$$ \tilde e_i = W_s e_i + b_s, \quad \tilde e_j = W_t e_j + b_t, $$

再求相似度 (基于 $\tilde e_i' \tilde e_j$). 注意这里的相似度不对称, 所以才能构建有向图.

伪触发词. 构建有向图是为了论文中引入的伪触发词.

在训练前, 根据训练集, 根据文中提出的一种重要度指标生成所有伪触发词. 这个重要度指标是针对每个事件类型的 roles 而言的, 如果一个 role

1. 在那个事件类型的所有事件实例中出现 (这个 role 对应的论元非空) 得多,
2. 且这个 role 对应的 argument 区分度高 (同一文档中这个论元不会出现在其他事件中),

则这个 role 的重要度指标更高. 伪触发词的数量要事先指定, 比如指定为 $R$ 个, 则从每个事件中各选出 $R$ 个重要度最高的 role; 对每个事件实例, 被选出的 role 对应的论元就是伪触发词.

伪触发词在图中的地位. 实体 (结点) 分为两类: 伪触发词和普通论元. 在前述构造的有向图中, 同一个论元组合中的所有伪触发词之间双向连接, 每个伪触发词指向每个普通论元单向连接. 此外, 每个结点还有自己到自己的连接.

训练时提前知道伪触发词, 预测时需要根据构建出来的图解码出来.

Step 1 先找所有极大团 (用 Bron-Kerbosch 算法), 即找出所有伪触发词; Step 2 3 如图.

解码出事件. 所有论元组合记为 $C =\{ c_1, \dots, c_n \}$ (上图 $n=2$), 记所有可能的事件类型 $T = \{ t_1, \dots, t_m \}$ (由之前 event detection 那步得到), 对每个 $(t, c) \in T \times C$ 操作.

对 $(t, c)$, 用前馈网络得到 $c$ 中每个实体 $e_i$ 的每个角色 $rj$ 的概率 $p{i, j}$. 对每个 role, 取对应概率最大 (需大于阈值 0.5, 否则令论元为空) 的实体作为这个 role 的论元 (一个实体可以作为多个 role 的论元, 但一个 role 只能有一个论元).

相关工作

上面思路很明显分为两个阶段: 先实体识别, 再将实体作为结点构造出图, 从图中解码出事件. 苏剑林也提出过类似的方法, 见 GPLinker：基于GlobalPointer的事件联合抽取.

作者朱桐分享过篇章级事件抽取的相关工作, 见 第三期『千言万语』：篇章事件抽取中的要素组合问题, 讲得很好. 其中 ppt 见 这里.