My note - lsvih

网站标签

该站未曾设置keywords

---

网站描述

该站未曾设置description

---

上一篇：陕西天科塑业-mpp管_pvc管_pe管_梅花管_栅格管_地暖管_cpvc管_ppr管

下一篇：优学宜德

seo综合信息

SEO信息	百度来访IP：- | 移动端来访IP：- | 出站链接：0 | 站内链接：10
IP网速：	IP地址：- 地址：- | 网速：250毫秒
ALEXA排名	世界排名：- | 预估IP：- | 预估PV：-
备案信息	- | 名称：- | 已创建：未知

收录	百度	360	搜狗	谷歌
查询	0	0	0	0

电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
0	0	电脑端优秀	-	0	0

服务器信息 协议类型 HTTP/1.1 200 OK 页面类型 text/html 服务器类型 nginx/1.20.1 程序支持 连接标识 W/"667bb7cc-11c5d" 消息发送 2025年4月20日 15时57分55秒 GZIP检测 已启用GZIP压缩 源文件大小 65.47KB 压缩后大小 22.02KB 压缩率 66.37%

网站快照

M y n o t e l s v i h M y n o t e l s v i h H o m e T a g s C a t e g o r i e s A r c h i v e s A b o u t S e a r c h T a b l e o f C o n t e n t s O v e r v i e w l s v i h 1 7 6 p o s t s 9 c a t e g o r i e s 2 1 7 t a g s G i t H u b E M a i l 0 % T h e m e N e x T w o r k s b e s t w i t h J a v a S c r i p t e n a b l e d S l i d e o f A t T G e n : A t t r i b u t e T r e e G e n e r a t i o n f o r R e a l W o r l d A t t r i b u t e J o i n t E x t r a c t i o n P o s t e d o n 2 0 2 3 0 5 0 3 I n P a p e r 事 件 抽 取 技 术 发 展 现 状 简 述 P o s t e d o n 2 0 2 2 0 5 2 6 I n P a p e r 问 题 定 义 事 件 抽 取 （ E v e n t E x t r a c t i o n ） 是 一 种 面 向 非 结 构 化 文 本 或 半 结 构 化 数 据 的 信 息 抽 取 （ I n f o r m a t i o n E x t r a c t i o n ） 任 务 ， 与 传 统 面 向 知 识 图 谱 的 实 体 、 关 系 、 属 性 等 信 息 ­ ­ ­ ­ 抽 取 有 所 不 同 的 是 ， 事 件 抽 取 抽 取 的 是 事 件 ， 即 某 些 事 物 在 时 空 范 围 内 的 运 动 。 在 A C E （ A u t o m a t i c C o n t e n t E x t r a c t i o n ） 测 评 会 议 中 ， 事 件 被 描 述 成 ： 在 特 定 时 间 内 ， 发 生 的 ， 同 时 有 参 与 者 的 ， 存 在 状 态 变 化 的 事 情 。 例 如 ， 李 主 任 将 在 明 天 举 办 的 大 会 上 发 言 中 描 述 了 具 体 的 事 件 ， 这 样 的 句 子 也 被 称 为 事 件 提 及 ， 包 含 了 李 主 任 大 会 发 言 这 些 事 件 要 素 。 而 事 件 抽 取 的 目 的 ， 正 是 从 非 结 构 化 、 半 结 构 化 的 事 件 提 及 中 将 结 构 化 的 事 件 要 素 提 取 出 来 从 而 进 行 分 析 。 事 件 抽 取 是 不 少 任 务 的 前 置 模 块 ， 对 于 事 理 图 谱 构 建 、 情 报 分 析 、 新 闻 摘 要 、 自 动 问 答 等 任 务 均 有 着 重 要 的 作 用 ， 事 件 抽 取 的 准 确 程 度 也 会 显 著 地 影 响 后 续 任 务 的 效 果 。 一 般 来 说 ， 根 据 是 否 有 明 确 的 、 事 先 定 义 好 的 事 件 模 式 （ 或 事 理 图 谱 s c h e m a ） ， 可 以 将 事 件 抽 取 分 为 封 闭 域 事 件 抽 取 （ C l o s e d o m a i n I n f o r m a t i o n E x t r a c t i o n ， 也 有 称 为 限 定 域 事 件 抽 取 ） 与 开 放 域 事 件 抽 取 （ O p e n d o m a i n I n f o r m a t i o n E x t r a c t i o n ） 。 封 闭 域 事 件 抽 取 的 主 要 任 务 包 括 ： 触 发 词 检 测 ： 触 发 词 （ T r i g g e r ） 是 事 件 抽 取 中 的 重 要 信 息 ， 一 般 是 出 现 在 事 件 提 及 中 ， 最 能 明 确 表 达 发 生 事 件 的 词 ， 一 般 是 动 词 或 名 词 。 例 如 ， 2 0 年 前 的 春 天 ， 他 出 生 了 一 句 中 ， 出 生 为 该 事 件 提 及 文 本 中 的 事 件 触 发 词 。 事 件 类 型 检 测 ： 即 通 过 分 类 等 方 式 得 到 事 件 的 类 型 ， 由 于 触 发 词 在 事 件 中 的 关 键 性 ， 因 此 也 可 以 被 视 作 触 发 词 类 型 检 测 。 事 件 的 类 型 取 决 于 事 件 模 式 的 设 计 ， 或 事 理 图 谱 s c h e m a 的 设 计 。 例 如 ， 某 事 件 模 式 中 将 咬 伤 、 砍 死 等 触 发 词 的 事 件 定 义 为 伤 害 类 型 的 事 件 。 事 件 论 元 抽 取 ： 事 件 论 元 （ E v e n t A r g u m e n t ） 指 的 是 事 件 中 的 参 与 者 ， 包 含 实 体 、 时 间 、 数 值 、 文 本 等 数 据 组 成 。 例 如 ， 张 三 在 2 0 2 2 年 成 功 晋 升 中 的 张 三 、 2 0 2 2 年 均 为 晋 升 事 件 的 事 件 论 元 。 论 元 角 色 识 别 ： 根 据 事 件 模 式 或 事 理 图 谱 的 定 义 ， 将 抽 取 的 事 件 论 元 按 照 其 在 事 件 中 扮 演 的 具 体 角 色 进 行 分 类 。 例 如 ， 在 某 公 安 事 理 图 谱 中 的 张 三 、 李 四 等 人 在 其 对 应 的 犯 罪 记 录 中 均 为 加 害 者 这 一 事 件 角 色 。 根 据 上 述 不 同 事 件 抽 取 任 务 得 到 的 数 据 ， 可 以 明 确 地 描 述 一 个 具 体 的 事 件 。 一 个 完 整 的 封 闭 域 事 件 抽 取 系 统 ， 应 当 以 联 合 模 型 （ J o i n t M o d e l ） 或 抽 取 流 水 线 （ P i p e l i n e ） 的 形 式 得 到 上 述 的 内 容 ， 或 者 至 少 得 到 触 发 词 、 论 元 。 以 一 个 具 体 的 例 子 展 示 封 闭 域 事 件 抽 取 ： 詹 姆 斯 枪 击 了 弗 兰 克 中 ， 包 含 攻 击 类 型 的 事 件 ， 其 触 发 词 为 枪 击 ， 事 件 论 元 包 含 詹 姆 斯 和 弗 兰 克 ， 前 者 的 论 元 角 色 是 攻 击 者 ， 后 者 的 论 元 角 色 是 被 攻 击 者 。 而 开 放 域 事 件 抽 取 与 封 闭 式 事 件 抽 取 不 同 ， 没 有 明 确 的 事 件 模 式 或 s c h e m a ， 因 此 构 建 开 放 域 事 件 抽 取 不 拘 泥 于 精 确 地 将 事 件 具 体 要 素 进 行 精 确 抽 取 ， 其 主 要 目 的 一 般 是 通 过 聚 类 、 文 本 语 义 分 割 等 无 监 督 手 段 ， 在 开 放 的 文 本 数 据 中 分 析 、 检 测 出 事 件 ， 以 供 后 续 的 分 析 。 开 放 域 事 件 抽 取 在 舆 情 感 知 、 舆 情 分 析 、 情 报 分 析 、 股 市 情 绪 调 研 等 应 用 中 有 着 重 要 的 作 用 。 开 放 域 事 件 抽 取 的 主 流 任 务 基 本 可 分 为 ： 事 件 分 割 ： 也 有 称 故 事 分 割 ， 给 定 一 段 文 本 （ 如 新 闻 、 论 坛 发 言 等 ） ， 检 测 出 不 同 事 件 的 边 界 。 例 如 ， 在 央 视 今 日 新 闻 简 讯 中 包 含 了 当 日 多 条 要 闻 ， 有 的 新 闻 条 目 使 用 了 多 段 文 本 描 述 ， 有 的 文 本 段 落 中 一 次 包 含 了 多 条 新 闻 ， 将 它 们 分 离 成 独 立 的 事 件 文 本 片 段 即 为 本 任 务 的 目 标 。 事 件 发 现 ： 在 新 闻 、 论 坛 发 言 等 文 本 中 ， 检 测 出 新 的 事 件 （ N e w E v e n t D e t e c t i o n ） 。 常 用 于 舆 情 系 统 等 应 用 。 事 件 追 踪 ： 在 新 闻 、 论 坛 发 言 等 文 本 中 ， 检 测 同 属 于 之 前 的 已 有 事 件 的 文 本 片 段 ， 通 过 此 方 式 追 踪 事 件 （ E v e n t T r a c k i n g ） 的 发 展 情 况 。 常 用 于 舆 情 系 统 等 应 用 。 由 于 开 放 域 事 件 抽 取 并 没 有 像 A C E 那 样 公 认 、 权 威 的 任 务 范 式 ， 因 此 上 述 分 类 可 能 根 据 实 际 应 用 场 景 、 数 据 集 等 条 件 产 生 变 动 。 但 一 般 来 说 ， 开 放 域 事 件 抽 取 的 粒 度 较 粗 ， 一 般 不 会 对 具 体 的 触 发 词 类 型 、 论 元 角 色 层 面 的 信 息 进 行 抽 取 。 本 文 中 主 要 对 封 闭 域 事 件 抽 取 进 行 简 述 。 R e a d m o r e » E n h a n c i n g C h i n e s e P r e t r a i n e d L a n g u a g e M o d e l v i a H e t e r o g e n e o u s L i n g u i s t i c s G r a p h 论 文 笔 记 P o s t e d o n 2 0 2 2 0 4 1 5 I n P a p e r E n h a n c i n g C h i n e s e P r e t r a i n e d L a n g u a g e M o d e l v i a H e t e r o g e n e o u s L i n g u i s t i c s G r a p h 一 文 是 我 和 组 内 同 学 合 作 的 工 作 ， 录 用 于 A C L 2 0 2 2 主 会 。 代 码 已 在 G i t H u b 开 源 ， p p t 可 在 这 里 查 看 。 这 篇 论 文 提 出 了 一 种 用 于 表 达 中 文 字 词 句 语 言 学 结 构 关 系 的 异 质 图 （ H e t e r o g e n e o u s L i n g u i s t i c s G r a p h , H L G ） 。 并 利 用 图 神 经 网 络 建 模 ， 在 该 H L G 异 质 图 上 实 施 多 步 信 息 传 播 （ M u l t i S t e p I n f o r m a t i o n P r o p a g a t i o n , M S I P ） 以 在 预 训 练 语 言 模 型 的 微 调 阶 段 训 练 神 经 网 络 的 参 数 。 使 用 这 样 的 H L G 建 模 中 文 自 然 语 言 的 结 构 可 以 自 然 而 有 效 地 引 入 分 词 结 构 化 信 息 ， 从 而 提 升 原 生 预 训 练 语 言 模 型 在 中 文 上 的 效 果 ， 实 验 证 明 该 方 法 在 多 个 基 准 数 据 集 上 得 到 了 稳 定 的 提 升 。 同 时 ， 相 比 起 前 人 发 表 在 A C L 2 0 2 0 年 的 工 作 [ 1 ] （ M W A ） ， 此 论 文 使 用 的 M S I P 和 H L G 建 模 在 训 练 、 推 理 速 度 上 有 着 明 显 的 优 势 ， 在 不 降 低 性 能 的 情 况 下 提 升 了 约 7 倍 的 训 练 与 推 理 速 度 。 问 题 背 景 近 年 来 ， 以 B E R T 为 代 表 的 预 训 练 语 言 模 型 方 法 在 各 个 N L P 任 务 中 得 到 了 广 泛 的 应 用 。 典 型 的 预 训 练 语 言 模 型 应 用 方 法 可 以 归 结 为 预 训 练 微 调 两 阶 段 模 式 ， 即 先 通 过 在 大 规 模 无 标 注 语 料 库 上 进 行 无 监 督 、 自 监 督 预 训 练 ， 然 后 通 过 监 督 训 练 迁 移 到 具 体 的 下 游 任 务 中 使 用 。 而 针 对 中 文 自 然 语 言 处 理 ， 研 究 者 们 提 出 了 各 类 适 配 中 文 语 言 特 性 的 预 训 练 语 言 模 型 ， 如 E R N I E [ 2 ] 、 G l y c e [ 3 ] 等 ， 尽 可 能 利 用 中 文 本 身 的 一 些 性 质 （ 例 如 中 文 分 词 、 中 文 字 形 等 ） 来 提 升 预 训 练 任 务 的 效 果 。 L i 等 人 [ 1 ] 基 于 向 预 训 练 语 言 模 型 融 入 中 文 分 词 的 动 机 提 出 了 M W A 模 型 ， 试 图 向 原 生 的 预 训 练 语 言 模 型 中 融 入 词 汇 级 别 特 征 ， 与 其 它 专 注 于 预 训 练 的 工 作 不 同 的 是 ， M W A 是 在 微 调 的 阶 段 来 进 行 外 部 信 息 的 融 入 的 ， 如 下 图 所 示 ： 这 样 的 方 式 有 个 好 处 ， 可 以 避 免 重 新 预 训 练 所 带 来 的 高 昂 代 价 ， 并 且 实 验 证 明 了 这 样 的 方 法 可 以 在 多 个 中 文 自 然 语 言 处 理 任 务 上 对 原 生 的 B E R T 等 模 型 带 来 有 效 的 提 升 。 M W A 是 利 用 一 种 非 标 准 形 式 的 分 段 式 a t t e n t i o n 方 法 ， 将 中 文 的 分 词 切 割 信 息 应 用 到 字 符 表 示 产 生 的 a t t e n t i o n 权 重 上 ， 对 同 一 个 词 中 的 不 同 字 进 行 m i x p o o l i n g 聚 合 ， 从 而 让 字 的 a t t e n t i o n 权 重 强 行 在 词 的 级 别 上 进 行 对 齐 。 这 样 的 设 计 有 效 地 融 入 了 分 词 的 分 段 式 的 结 构 信 息 ， 但 也 带 来 了 一 些 新 的 问 题 ： 由 于 需 要 逐 词 、 逐 样 本 地 计 算 a t t e n t i o n 的 聚 合 ， 会 导 致 a t t e n t i o n 模 型 中 原 本 可 以 向 量 化 、 并 行 化 的 标 准 矩 阵 运 算 变 成 需 要 各 自 运 算 、 无 法 并 行 的 高 负 载 运 算 ， 并 且 这 样 的 算 子 无 法 利 用 c u d n n 原 语 的 加 速 ， 也 无 法 享 受 当 今 非 常 重 要 的 深 度 学 习 计 算 加 速 硬 件 （ 如 G P U 、 T P U 等 ） 带 来 的 速 度 提 升 。 此 外 ， M W A 使 用 了 简 单 的 m i x p o o l i n g 来 汇 聚 字 级 别 的 a t t e n t i o n 权 重 到 词 级 别 ， 这 样 简 单 的 p o o l i n g 方 式 会 导 致 一 部 分 分 词 结 构 上 的 信 息 损 失 ， 没 有 很 好 地 反 应 字 到 词 、 字 到 字 的 层 级 化 交 互 形 式 ， 而 是 以 平 均 值 的 形 式 将 字 词 进 行 了 统 一 。 最 后 ， M W A 提 出 可 以 使 用 多 个 分 词 器 ， 融 合 多 个 分 词 器 带 来 的 分 词 信 息 ， 以 进 一 步 提 升 模 型 的 效 果 ， 但 M W A 中 使 用 了 非 常 原 始 的 线 性 加 权 的 形 式 ， 对 不 同 分 词 器 产 生 的 M W A 字 符 表 示 进 行 加 权 求 和 ， 这 样 的 形 式 不 仅 没 有 体 现 出 不 同 分 词 器 所 带 来 的 分 词 纠 错 的 效 果 ， 还 会 产 生 训 练 参 数 的 膨 胀 。 因 此 ， 作 者 希 望 重 新 思 考 M W A 带 来 的 效 果 提 升 与 随 之 产 生 的 副 作 用 ， 试 图 以 一 种 更 加 自 然 的 方 式 来 建 模 相 同 的 中 文 语 言 学 结 构 信 息 ， 同 时 避 免 上 述 提 到 的 问 题 。 方 法 原 理 受 到 M W A 和 多 图 集 成 （ M u l t i G r a p h E n s e m b l e ） 相 关 工 作 的 启 发 ， 作 者 以 “ 去 噪 ” 这 一 动 机 为 核 心 ， 构 建 了 中 文 语 言 学 结 构 异 质 图 （ H L G ） 。 在 M W A 中 ， 作 者 提 出 了 使 用 更 多 的 分 词 器 ， 会 得 到 更 好 的 效 果 ； 然 而 ， 无 上 限 地 加 更 多 的 分 词 信 息 难 道 能 持 续 地 带 来 性 能 提 升 吗 ？ 未 必 。 当 引 入 更 多 分 词 器 的 同 时 ， 也 会 引 入 更 多 的 分 词 错 误 信 息 ， 即 噪 音 。 这 些 噪 音 信 息 会 影 响 模 型 的 训 练 效 果 ， 带 来 一 定 的 副 作 用 ； 如 何 让 正 确 的 分 词 结 构 在 模 型 中 起 到 更 大 的 影 响 力 ， 让 错 误 的 分 词 信 息 在 模 型 中 产 生 的 影 响 被 尽 可 能 忽 略 ， 是 构 建 H L G 时 所 考 虑 的 重 点 。 从 模 型 集 成 （ M o d e l E n s e m b l e ） 考 虑 ， 各 个 已 经 训 练 好 的 分 词 器 是 良 好 的 学 习 者 （ w e l l l e a r n e r ） ， 它 们 各 自 产 生 的 结 果 可 以 假 设 为 大 部 分 正 确 而 小 部 分 错 误 。 因 此 ， 可 以 以 模 型 集 成 的 观 点 将 它 们 产 生 的 结 果 合 在 一 起 ， 体 现 出 “ 少 数 服 从 多 数 ” 的 投 票 效 果 ， 即 如 果 有 更 多 的 分 词 器 认 为 某 个 词 A 应 当 分 出 来 ， 那 么 就 应 当 认 为 这 是 更 加 可 信 的 结 论 ， 而 少 数 几 个 分 出 不 同 结 果 的 分 词 器 ， 则 在 词 A 的 切 分 上 被 认 为 是 不 那 么 可 信 的 。 在 图 （ G r a p h ） 的 性 质 上 看 ， 就 是 让 这 些 正 确 的 分 词 节 点 的 桥 接 中 心 性 （ b e t w e e n n e s s c e n t r a l i t y ） 更 大 ， 这 些 节 点 在 图 的 信 息 传 递 过 程 中 起 到 的 效 果 就 越 大 。 如 下 图 所 示 ： 以 此 为 动 机 ， 作 者 设 计 了 以 字 、 词 、 句 三 个 层 次 的 节 点 构 成 的 H L G ， 整 体 的 结 构 如 下 图 所 示 ： 在 H L G 中 ， 不 同 分 词 器 产 生 的 不 同 的 词 会 产 生 不 同 的 词 节 点 ， 而 在 相 同 位 置 分 出 的 相 同 的 词 会 作 为 同 一 个 词 节 点 ； 由 于 一 句 话 以 不 同 的 方 式 切 割 会 自 然 地 产 生 不 同 的 语 义 ， 因 此 每 个 分 词 器 分 割 的 句 子 都 作 为 一 个 单 独 的 节 点 存 在 ， 分 词 器 分 出 的 词 会 与 对 应 的 句 子 节 点 相 连 。 H L G 的 构 图 方 法 在 实 质 上 就 满 足 了 前 面 提 到 的 去 噪 的 动 机 。 以 上 图 中 “ 西 山 ” 节 点 ， 和 “ 西 ” 、 “ 山 ” 节 点 为 例 ， 前 者 （ 西 山 ） 有 两 个 分 词 器 支 撑 这 个 分 词 结 果 ， 而 后 者 （ 西 、 山 ） 只 有 一 个 分 词 器 支 撑 ， 前 者 产 生 的 节 点 在 图 中 的 度 数 会 比 后 者 更 高 。 得 到 H L G 之 后 ， 需 要 使 用 图 神 经 网 络 对 这 个 图 进 行 建 模 ， 而 图 神 经 网 络 通 常 处 理 的 是 只 有 一 种 节 点 类 型 的 同 构 图 （ H o m o g e n e o u s G r a p h ） ， 而 H L G 是 有 着 多 种 节 点 类 型 、 多 种 连 边 类 型 的 异 质 图 （ H e t e r o g e n e o u s G r a p h ） 。 因 此 ， 论 文 中 使 用 了 一 种 “ 多 步 ” 的 信 息 传 播 方 式 ， 使 用 多 个 G C N 层 来 控 制 不 同 层 级 的 信 息 传 播 ， 从 而 实 现 了 对 H L G 的 建 模 。 如 下 图 所 示 ： 整 个 信 息 传 播 过 程 的 输 入 \ \ ( H ^ c \ \ ) 是 预 训 练 语 言 模 型 的 字 符 级 别 表 示 ， 输 出 \ \ ( H ’ ^ c \ \ ) 是 融 入 了 分 词 信 息 后 的 字 符 级 别 表 示 ； c 、 w 、 s 节 点 分 别 代 表 字 节 点 、 词 节 点 和 句 子 节 点 ； 箭 头 构 成 的 传 播 链 与 数 字 对 应 的 公 式 对 应 ， 是 多 个 G C N 层 分 别 对 单 跳 中 的 节 点 信 息 进 行 建 模 ， A 为 邻 接 矩 阵 （ a d j a c e n c y m a t r i x ） 。 这 个 传 播 过 程 可 以 分 为 两 部 分 ： （ 1 ） 归 纳 化 （ S u m m a r i z a t i o n ） ， 从 字 节 点 到 词 节 点 再 到 句 子 节 点 ， H L G 通 过 降 低 的 节 点 数 量 将 字 符 级 别 表 示 按 照 分 词 器 构 造 出 的 路 径 汇 总 、 归 纳 到 句 子 级 别 上 ； （ 2 ） 具 体 化 （ C o n c r e t i z a t i o n ） ， 从 句 节 点 到 词 节 点 再 到 子 节 点 ， H L G 将 归 纳 到 句 级 别 的 表 示 再 逐 层 根 据 分 词 器 产 生 的 路 径 具 象 化 到 词 、 字 上 。 这 两 部 分 在 上 图 中 以 不 同 的 颜 色 标 识 。 通 过 这 两 个 步 骤 后 ， 分 词 结 构 信 息 （ 以 邻 接 矩 阵 的 形 式 表 达 ） 被 纳 入 到 字 符 级 别 表 示 的 输 出 中 。 但 是 ， 由 于 句 节 点 的 数 量 （ 与 使 用 的 分 词 器 数 量 相 同 ） 会 远 远 小 于 词 节 点 和 字 节 点 的 数 量 ， 因 此 将 分 词 结 构 表 示 到 句 子 节 点 后 很 难 再 具 象 化 回 字 级 别 ， 阻 碍 了 信 息 在 图 中 的 传 播 。 这 一 点 在 模 型 训 练 中 会 体 现 为 难 以 训 练 、 效 果 降 低 等 情 况 ， 因 此 ， 为 了 降 低 这 种 负 面 影 响 ， 作 者 引 入 了 R e s N e t [ 4 ] 的 S k i p C o n n e c t i o n ， 以 残 差 连 接 的 形 式 在 归 纳 化 和 具 象 化 过 程 中 相 同 层 级 的 节 点 间 建 立 了 通 路 ， 如 下 图 所 示 ： 由 此 ， M S I P 可 以 对 H L G 进 行 建 模 ， 从 而 在 具 体 任 务 的 微 调 过 程 中 对 模 型 参 数 进 行 学 习 训 练 。 与 M W A 相 比 ， H L G 的 主 要 区 别 是 ， 增 加 了 句 子 节 点 ， 并 将 信 息 聚 合 与 分 发 的 方 式 进 行 了 调 整 ， 从 对 a t t e n t i o n 权 重 的 分 段 p o o l i n g 改 成 了 对 层 级 图 的 G C N 。 而 它 们 的 输 入 、 输 出 ， 以 及 融 入 的 外 部 知 识 实 际 上 都 是 一 致 的 。 下 图 说 明 了 M W A 和 H L G 在 文 本 表 示 信 息 和 分 词 结 构 信 息 聚 合 分 发 过 程 中 的 异 同 ： 实 验 论 文 对 提 出 的 模 型 在 多 个 预 训 练 语 言 下 游 任 务 基 准 数 据 集 上 进 行 了 实 验 验 证 ， 结 果 如 下 ： 与 原 生 的 预 训 练 语 言 模 型 相 比 ， H L G 带 来 了 稳 定 的 提 升 ； 与 M W A 相 比 ， H L G 的 实 验 效 果 也 并 不 逊 色 。 而 在 训 练 和 推 理 效 率 方 面 ， H L G 可 以 说 是 一 骑 绝 尘 ， 甩 开 M W A 一 大 截 ： 速 度 上 基 本 上 有 着 7 倍 以 上 的 提 升 。 对 前 面 提 到 的 “ 去 噪 ” 的 动 机 ， 作 者 也 通 过 引 入 更 多 分 词 器 的 方 式 进 行 了 验 证 ： 从 1 个 分 词 器 向 上 提 升 分 词 器 数 量 的 同 时 ， 会 得 到 更 多 的 词 节 点 （ 新 的 分 词 器 分 出 了 不 同 的 词 ） ， 而 效 果 也 有 微 幅 提 升 ； 引 入 更 多 的 分 词 器 时 ， 增 加 的 新 的 词 节 点 的 数 量 开 始 逐 渐 下 降 （ 由 于 加 入 的 新 的 分 词 器 分 出 的 词 与 已 有 分 词 器 的 大 体 相 同 ） ， 而 带 来 的 性 能 相 对 提 升 也 在 逐 渐 降 低 ； 引 入 5 个 或 超 过 5 个 分 词 器 ， 带 来 的 性 能 提 升 基 本 上 没 有 了 ， 甚 至 可 能 会 出 现 效 果 衰 退 的 情 况 ， 可 能 是 由 于 带 来 了 过 多 的 噪 声 。 作 者 在 权 衡 使 用 多 分 词 器 引 入 的 噪 声 、 提 升 的 效 果 和 增 加 的 预 处 理 开 销 后 ， 最 终 还 是 只 使 用 了 3 个 分 词 器 。 总 结 这 篇 论 文 的 贡 献 点 可 以 归 结 为 几 块 ： 1 . 对 于 M W A 提 出 的 在 预 训 练 模 型 微 调 过 程 中 引 入 新 的 模 块 ， 从 而 引 入 外 部 知 识 的 做 法 ， 作 者 将 其 总 结 为 了 一 种 强 化 模 块 （ e n h a n c e m e n t m o d u l e ） 的 适 配 器 （ a d a p t e r ） ， 这 样 的 方 法 可 能 在 其 它 领 域 也 能 发 挥 作 用 ； 2 . 作 者 提 出 了 H L G 来 表 示 中 文 的 分 词 的 结 构 ， 并 且 可 以 在 引 入 多 个 分 词 器 的 情 况 下 体 现 出 一 定 的 去 噪 效 果 。 同 时 ， 作 者 以 M S I P 的 方 法 ， 成 功 用 图 神 经 网 络 对 H L G 这 种 异 质 图 进 行 了 建 模 ； 3 . 实 验 结 果 表 明 ， 这 篇 论 文 提 出 的 H L G 的 方 法 与 M W A 带 来 的 模 型 性 能 提 升 不 分 伯 仲 ， 但 相 比 于 M W A ， H L G 节 省 了 至 少 一 半 的 模 型 参 数 量 ， 并 且 得 益 于 标 准 的 运 算 模 式 ， H L G 的 训 练 、 推 理 速 度 比 M W A 快 了 约 7 倍 以 上 。 这 篇 论 文 的 代 码 已 经 开 源 ， 可 以 在 G i t H u b 上 找 到 。 [ 1 ] E n h a n c i n g P r e t r a i n e d C h i n e s e C h a r a c t e r R e p r e s e n t a t i o n w i t h W o r d a l i g n e d A t t e n t i o n , A C L 2 0 2 0 . [ 2 ] E r n i e : E n h a n c e d r e p r e s e n t a t i o n t h r o u g h k n o w l e d g e i n t e g r a t i o n , A C L 2 0 1 9 . [ 3 ] G l y c e : G l y p h v e c t o r s f o r c h i n e s e c h a r a c t e r r e p r e s e n t a t i o n s , N I P S 2 0 1 9 . [ 4 ] D e e p R e s i d u a l L e a r n i n g f o r I m a g e R e c o g n i t i o n , C V P R 2 0 1 6 . S l i d e o f E n h a n c i n g C h i n e s e P r e t r a i n e d L a n g u a g e M o d e l v i a H e t e r o g e n e o u s L i n g u i s t i c s G r a p h u s e d i n A C L c o n f e r e n c e . P o s t e d o n 2 0 2 2 0 4 1 5 I n P a p e r 解 决 g u n i c o r n 运 行 f l a s k a p p 时 a p s c h e d u l e r 任 务 不 运 行 的 问 题 P o s t e d o n 2 0 2 2 0 4 0 1 I n B a c k E n d 使 用 F l a s k 做 应 用 时 ， 用 了 A p s c h e d u l e r 作 为 后 台 任 务 及 定 时 任 务 执 行 器 ， 使 用 方 式 类 似 于 1 2 3 4 5 6 7 8 9 f r o m f l a s k i m p o r t F l a s k f r o m a p s c h e d u l e r . s c h e d u l e r s . b a c k g r o u n d i m p o r t B a c k g r o u n d S c h e d u l e r a p p = F l a s k ( _ _ n a m e _ _ ) s c h e d u l e r = B a c k g r o u n d S c h e d u l e r ( ) i f _ _ n a m e _ _ = = _ _ m a i n _ _ : s c h e d u l e r . r u n ( ) a p p . r u n ( d e b u g = T r u e ) 在 调 试 时 ， 直 接 用 p y t h o n 3 a p p . p y 运 行 ， 一 切 正 常 。 但 是 在 使 用 g u n i c o r n 切 换 到 生 产 环 境 时 ， 使 用 g u n i c o r n w 1 b 0 . 0 . 0 . 0 : 5 0 0 0 a p p : a p p 时 ， 却 出 现 了 a p s c h e d u l e r 的 后 台 任 务 不 运 行 的 情 况 ； 直 接 运 行 p y t h o n 3 a p p . p y 自 然 是 以 顺 序 执 行 ， 并 且 程 序 的 _ _ n a m e _ _ 是 _ _ m a i n _ _ ， 自 然 s c h e d u l e r . r u n ( ) 和 a p p . r u n ( ) 会 正 常 执 行 ； 但 经 过 查 阅 资 料 和 接 口 文 档 得 知 ， g u n i c o r n 是 将 a p p : a p p 即 a p p . p y 中 的 a p p 对 象 （ F l a s k 实 例 ） 作 为 入 口 的 ， 而 此 时 程 序 的 _ _ n a m e _ _ 是 a p p ， 因 此 s c h e d u l e r . r u n ( ) 直 接 就 不 执 行 了 。 所 以 ， 对 于 单 进 程 （ 多 线 程 ） 的 任 务 ， 直 接 将 s c h e d u l e r . r u n ( ) 放 在 _ _ n a m e _ _ 判 断 条 件 外 ， 就 能 正 常 执 行 了 ： 1 2 3 4 5 6 7 8 9 f r o m f l a s k i m p o r t F l a s k f r o m a p s c h e d u l e r . s c h e d u l e r s . b a c k g r o u n d i m p o r t B a c k g r o u n d S c h e d u l e r a p p = F l a s k ( _ _ n a m e _ _ ) s c h e d u l e r = B a c k g r o u n d S c h e d u l e r ( ) s c h e d u l e r . r u n ( ) i f _ _ n a m e _ _ = = _ _ m a i n _ _ : a p p . r u n ( d e b u g = T r u e ) 当 然 a p p . r u n ( ) 还 是 要 放 在 判 断 中 的 ， 只 在 调 试 模 式 下 运 行 。 使 用 预 训 练 语 言 模 型 作 为 知 识 库 的 可 能 性 P o s t e d o n 2 0 2 2 0 2 1 9 I n P a p e r 引 言 近 年 来 ， 预 训 练 语 言 模 型 在 N L P 领 域 展 现 出 了 强 大 的 能 力 而 被 广 泛 采 用 ， 成 为 了 解 决 N L P 问 题 的 “ 银 弹 ” 。 借 助 大 规 模 数 据 集 、 以 T r a n s f o r m e r 为 代 表 的 深 度 神 经 网 络 模 型 、 以 及 设 计 好 的 自 监 督 预 训 练 （ p r e t r a i n ） 任 务 ， 预 训 练 语 言 模 型 展 现 出 了 强 大 的 泛 化 能 力 ， 经 过 微 调 （ f i n e t u n e ） 后 在 各 个 下 游 任 务 中 得 到 了 优 秀 的 成 果 ， 其 强 大 性 能 让 人 对 其 学 习 到 的 内 容 产 生 了 兴 趣 ： 预 训 练 语 言 模 型 是 否 真 的 在 预 训 练 过 程 中 学 习 到 了 “ 知 识 ” 呢 ？ 最 近 也 有 工 作 提 出 了 p r o m p t 范 式 ， 通 过 构 建 的 p r o m p t 语 句 ， 将 特 定 的 下 游 任 务 转 换 为 预 训 练 语 言 模 型 的 预 训 练 任 务 （ 如 M a s k L a n g u a g e M o d e l ） 从 而 得 到 结 果 ， 这 种 形 式 有 点 类 似 于 从 知 识 库 中 使 用 一 定 的 查 询 语 句 找 出 对 应 的 答 案 。 因 此 ， 有 研 究 者 开 始 探 索 是 否 能 将 预 训 练 语 言 模 型 作 为 “ 知 识 库 ” 使 用 。 本 文 针 对 自 然 语 言 处 理 中 的 预 训 练 语 言 模 型 如 何 通 过 预 训 练 建 模 “ 知 识 ” 、 推 导 知 识 ， 以 及 预 训 练 语 言 模 型 是 否 能 作 为 知 识 库 这 三 方 面 进 行 了 简 单 的 论 文 导 读 。 R e a d m o r e » O p e n D o m a i n Q u e s t i o n A n s w e r i n g U s i n g E a r l y F u s i o n o f K n o w l e d g e B a s e s a n d T e x t 论 文 笔 记 P o s t e d o n 2 0 2 2 0 1 0 8 I n P a p e r 此 论 文 《 O p e n D o m a i n Q u e s t i o n A n s w e r i n g U s i n g E a r l y F u s i o n o f K n o w l e d g e B a s e s a n d T e x t 》 发 表 于 E M N L P 2 0 1 8 。 对 于 开 放 域 问 答 问 题 ， 作 者 试 图 将 与 问 题 有 关 的 W i k i p e d i a 和 F r e e b a s e 的 知 识 结 合 起 来 构 成 一 个 融 合 子 图 ， 然 后 把 开 放 域 问 答 问 题 转 换 为 在 这 个 融 合 子 图 上 的 节 点 分 类 问 题 ， 是 一 篇 典 型 的 早 期 融 合 的 工 作 。 如 下 图 的 左 右 两 部 分 所 示 ， 该 文 章 要 点 有 两 处 ： （ 1 ） 如 何 对 知 识 库 和 文 本 进 行 联 合 构 图 ； （ 2 ） 如 何 在 图 上 执 行 节 点 分 类 获 得 问 题 的 答 案 。 e m n l p 2 0 1 8 1 融 合 子 图 的 构 建 将 整 个 W i k i p e d i a 与 F r e e b a s e 进 行 联 合 构 图 是 不 现 实 的 ， 因 此 作 者 先 分 别 在 知 识 库 找 出 与 问 题 相 关 的 部 分 ， 然 后 通 过 不 断 在 文 本 库 中 检 索 文 本 相 关 文 本 ， 加 入 融 合 子 图 中 。 （ 1 ） 从 知 识 库 构 建 问 题 相 关 子 图 ： 首 先 通 过 实 体 链 指 从 问 题 \ \ ( q \ \ ) 中 获 取 一 系 列 种 子 实 体 \ \ ( S _ q \ \ ) ， 然 后 以 这 些 种 子 实 体 为 起 点 ， 执 行 P e r s o n a l P a g e R a n k （ P P R ） 算 法 ， 根 据 P P R 得 到 的 权 重 找 出 与 种 子 实 体 相 连 的 T o p E 候 选 实 体 \ \ ( v _ , \ \ l d o t s , v _ \ \ ) ， 将 种 子 实 体 、 候 选 实 体 和 他 们 间 的 连 边 合 起 来 ， 构 成 子 图 \ \ ( \ \ m a t h c a l _ q = \ \ l e f t ( \ \ m a t h c a l _ , \ \ m a t h c a l _ , \ \ m a t h c a l \ \ r i g h t ) \ \ ) ， 其 中 \ \ ( \ \ m a t h c a l \ \ ) 为 节 点 ， \ \ ( \ \ m a t h c a l \ \ ) 为 连 边 ， \ \ ( \ \ m a t h c a l \ \ ) 为 边 的 类 型 （ 即 关 系 类 型 ） 。 （ 2 ） 文 本 信 息 节 点 ： 首 先 通 过 D r Q A 的 带 权 词 袋 模 型 对 文 本 库 进 行 句 子 级 别 的 检 索 ， 得 到 T o p 5 与 问 题 相 关 的 文 档 ， 然 后 根 据 问 题 \ \ ( q \ \ ) 与 文 档 中 的 句 子 进 行 检 索 排 序 ， 找 出 最 相 关 的 T o p D 个 候 选 句 子 \ \ ( d _ , \ \ l d o t s d _ \ \ ) 。 将 这 T o p D 个 句 子 依 次 加 入 问 题 相 关 子 图 \ \ ( \ \ m a t h c a l _ q \ \ ) 中 ： \ \ [ \ \ m a t h c a l _ = \ \ l e f t \ \ , \ \ l d o t s , v _ \ \ r i g h t \ \ } \ \ c u p \ \ l e f t \ \ , \ \ l d o t s , d _ \ \ r i g h t \ \ } \ \ ] 对 于 节 点 的 连 边 ， 以 如 下 的 形 式 进 行 连 接 ： \ \ [ \ \ m a t h c a l _ = \ \ l e f t \ \ : s , o \ \ i n \ \ m a t h c a l _ , r \ \ i n \ \ m a t h c a l \ \ r i g h t \ \ } \ \ c u p \ \ l e f t \ \ , r _ \ \ r i g h t ) : \ \ l e f t ( v , d _ \ \ r i g h t ) \ \ i n \ \ m a t h c a l _ , d \ \ i n \ \ m a t h c a l _ \ \ r i g h t \ \ } \ \ ] 其 中 \ \ ( r _ L \ \ ) 表 示 从 文 档 句 子 到 实 体 的 连 边 关 系 。 即 ， 将 句 子 和 图 \ \ ( \ \ m a t h c a l _ q \ \ ) 中 已 有 的 实 体 添 加 连 边 。 由 此 ， 得 到 了 包 含 知 识 库 信 息 和 文 本 信 息 的 融 合 子 图 \ \ ( \ \ l e f t ( \ \ m a t h c a l _ , \ \ m a t h c a l _ , \ \ m a t h c a l ^ \ \ r i g h t ) \ \ ) ， \ \ ( \ \ m a t h c a l ^ = \ \ m a t h c a l \ \ c u p \ \ l e f t \ \ \ \ r i g h t \ \ } \ \ ) 。 图 表 示 学 习 与 节 点 分 类 在 上 一 步 中 ， 已 经 获 得 了 包 含 知 识 库 节 点 、 文 档 节 点 、 文 档 到 实 体 连 边 的 与 问 题 \ \ ( q \ \ ) 相 关 的 异 构 融 合 子 图 \ \ ( \ \ m a t h c a l _ q \ \ ) 。 此 工 作 先 采 用 图 表 示 学 习 的 方 法 得 到 各 个 节 点 的 表 示 ， 然 后 对 各 个 节 点 是 否 属 于 答 案 进 行 二 分 类 训 练 。 该 方 法 命 名 为 G R A F T N e t ， 分 为 两 步 ： （ 1 ） 初 始 化 节 点 表 示 ： 对 于 知 识 库 中 的 实 体 节 点 ， 赋 予 定 长 表 示 向 量 ： \ \ ( h _ ^ = x _ \ \ i n \ \ m a t h b b ^ \ \ ) ， 其 中 \ \ ( x _ v \ \ ) 可 以 是 随 机 向 量 也 可 以 是 通 过 T r a n s E 等 方 式 预 训 练 得 到 表 示 向 量 。 对 于 文 本 的 文 档 节 点 ， 如 果 文 档 是 由 单 词 \ \ ( w _ , \ \ l d o t s , w _ \ \ ) 构 成 的 ， 则 使 用 L S T M 对 词 嵌 入 进 行 编 码 \ \ ( H _ ^ = \ \ o p e r a t o r n a m e \ \ l e f t ( w _ , w _ , \ \ l d o t s \ \ r i g h t ) \ \ ) 。 e m n l p 2 0 1 8 2 （ 2 ） 异 构 融 合 子 图 的 更 新 ： 由 于 前 一 步 得 到 的 图 是 异 构 的 ， 需 要 根 据 问 题 \ \ ( q \ \ ) 分 别 对 实 体 节 点 与 文 档 节 点 进 行 更 新 ， 如 上 图 所 示 。 对 于 实 体 节 点 \ \ ( v \ \ ) ， 每 一 层 G R A F T N e t 执 行 如 下 更 新 ： \ \ [ h _ ^ = \ \ m a t h r m \ \ l e f t ( \ \ l e f t [ \ \ b e g i n h _ ^ \ \ \ \ h _ ^ \ \ \ \ \ \ s u m _ \ \ s u m _ \ \ i n N _ ( v ) } \ \ a l p h a _ ^ } \ \ p s i _ \ \ l e f t ( h _ } ^ \ \ r i g h t ) \ \ \ \ \ \ s u m _ H _ ^ \ \ e n d \ \ r i g h t ] \ \ r i g h t ) \ \ ] 其 中 \ \ ( h _ ^ \ \ ) 是 上 一 层 该 节 点 的 表 示 ， \ \ ( h _ ^ \ \ ) 是 上 一 层 的 问 题 表 示 ， \ \ ( \ \ s u m _ \ \ s u m _ \ \ i n N _ ( v ) } \ \ a l p h a _ ^ } \ \ p s i _ \ \ l e f t ( h _ } ^ \ \ r i g h t ) \ \ ) 中 的 \ \ ( N _ ( v ) \ \ ) 是 节 点 \ \ ( v \ \ ) 的 邻 居 实 体 节 点 ， \ \ ( \ \ p s i _ \ \ l e f t ( h _ } ^ \ \ r i g h t ) \ \ ) 是 根 据 P a g e R a n k 的 权 重 控 制 连 边 上 的 权 重 传 递 （ p r o p a g a t i o n ） ， \ \ ( \ \ a l p h a _ ^ } \ \ ) 是 在 关 系 \ \ ( r \ \ ) 上 执 行 注 意 力 机 制 加 权 ， 以 权 衡 问 题 节 点 对 实 体 节 点 的 影 响 ； \ \ ( \ \ s u m _ H _ ^ \ \ ) 中 的 \ \ ( M ( v ) \ \ ) 是 与 节 点 \ \ ( v \ \ ) 相 邻 的 文 档 节 点 ， \ \ ( H _ ^ \ \ ) 是 实 体 在 文 本 中 的 表 示 。 而 文 档 节 点 的 表 示 ， 是 由 一 系 列 单 词 的 表 示 再 通 过 L S T M 进 行 编 码 得 到 的 ， 因 此 文 档 节 点 表 示 的 更 新 本 质 上 是 文 档 中 单 词 表 示 的 更 新 。 假 如 文 档 \ \ ( d \ \ ) 中 位 置 \ \ ( p \ \ ) 上 的 单 词 与 实 体 节 点 相 连 ， 将 这 些 实 体 节 点 记 为 \ \ ( L ( d , p ) \ \ ) ， 该 单 词 的 表 示 更 新 如 下 所 示 ： \ \ [ \ \ t i l d e _ ^ = \ \ o p e r a t o r n a m e \ \ l e f t ( H _ ^ , \ \ s u m _ h _ ^ \ \ r i g h t ) \ \ ] 实 质 上 就 是 对 邻 接 实 体 节 点 进 行 了 聚 合 。 最 后 ， 文 档 节 点 也 会 更 新 ： \ \ ( H _ ^ = \ \ o p e r a t o r n a m e \ \ l e f t ( \ \ t i l d e _ ^ \ \ r i g h t ) \ \ ) 。 在 问 题 节 点 的 引 导 下 ， G R A F T N e t 会 以 类 似 P a g e R a n k 的 形 式 ， 将 问 题 节 点 的 表 示 向 整 个 异 构 融 合 子 图 中 传 播 ， 最 终 得 到 融 合 了 问 题 表 示 、 实 体 表 示 、 文 本 表 示 的 异 构 融 合 子 图 中 每 个 节 点 的 表 示 \ \ ( h _ ^ \ \ i n \ \ m a t h b b ^ \ \ ) 。 只 需 要 对 它 进 行 二 分 类 训 练 ： \ \ [ \ \ s i g m a \ \ l e f t ( w ^ h _ ^ + b \ \ r i g h t ) \ \ ] 就 能 分 出 融 合 子 图 中 与 问 题 相 关 的 节 点 了 ， 即 得 到 了 问 题 的 答 案 。 Q u e s t i o n A n s w e r i n g o v e r F r e e b a s e w i t h M u l t i C o l u m n C o n v o l u t i o n a l N e u r a l N e t w o r k s 论 文 笔 记 P o s t e d o n 2 0 2 2 0 1 0 6 I n P a p e r 《 Q u e s t i o n A n s w e r i n g o v e r F r e e b a s e w i t h M u l t i C o l u m n C o n v o l u t i o n a l N e u r a l N e t w o r k s 》 发 表 于 A C L 2 0 1 5 ， 这 篇 论 文 是 《 Q u e s t i o n A n s w e r i n g w i t h S u b g r a p h E m b e d d i n g s 》 的 后 续 工 作 。 a c l 2 0 1 5 1 上 图 展 示 了 该 工 作 的 主 要 模 型 ， 可 以 看 到 与 基 于 子 图 嵌 入 的 知 识 库 问 答 一 文 类 似 ， 也 是 主 要 分 成 了 两 个 部 分 ： 问 题 的 文 本 表 示 ， 与 答 案 候 选 集 的 子 图 表 示 。 对 于 问 题 的 文 本 ， 此 论 文 使 用 了 与 T e x t C N N 类 似 的 方 式 ， 使 用 卷 积 神 经 网 络 对 问 题 的 词 嵌 入 进 行 滑 动 卷 积 与 池 化 ， 从 而 得 到 问 题 的 文 本 表 示 ： \ \ [ \ \ m a t h b f _ ^ = \ \ m a t h b f \ \ l e f t ( \ \ m a t h b f ^ \ \ l e f t [ \ \ m a t h b f _ ^ \ \ l d o t s \ \ m a t h b f _ ^ \ \ l d o t s \ \ m a t h b f _ ^ \ \ r i g h t ] ^ + \ \ m a t h b f ^ \ \ r i g h t ) \ \ \ \ \ \ l a b e l \ \ m a t h b f _ ( q ) = \ \ m a x _ \ \ l e f t \ \ _ ^ \ \ r i g h t \ \ } \ \ ] 其 中 ， \ \ ( \ \ m a t h b f ^ \ \ ) 是 用 于 获 得 不 同 问 题 表 示 \ \ ( \ \ m a t h b f _ ( q ) \ \ ) 的 不 同 的 可 训 练 参 数 矩 阵 ， 公 式 \ \ ( \ \ r e f \ \ ) 表 示 的 是 使 用 滑 动 窗 口 进 行 卷 积 的 具 体 过 程 ， 在 此 不 再 赘 述 。 对 于 答 案 候 选 集 ， 作 者 设 定 了 三 种 特 征 ： （ 1 ） 答 案 路 径 ： 对 于 从 问 题 中 的 实 体 节 点 到 答 案 节 点 的 路 径 的 表 示 ， 此 论 文 采 用 了 和 《 基 于 子 图 嵌 入 的 知 识 库 问 答 》 中 路 径 表 示 一 样 的 方 法 ： \ \ [ \ \ m a t h b f _ ( a ) = \ \ f r a c _ ( a ) \ \ r i g h t \ \ | _ } \ \ m a t h b f _ \ \ m a t h b f _ ( a ) \ \ ] 其 中 ， \ \ ( \ \ m a t h b f _ ( a ) \ \ ) 为 路 径 上 每 一 个 关 系 的 稀 疏 向 量 表 示 ， \ \ ( \ \ m a t h b f _ \ \ ) 为 可 训 练 参 数 ， 由 于 答 案 路 径 长 度 不 一 ， 因 此 作 者 使 用 \ \ ( \ \ f r a c _ ( a ) \ \ r i g h t \ \ | _ } \ \ ) 进 行 了 归 一 化 。 （ 2 ） 答 案 上 下 文 （ C o n t e x t ） ： 该 文 将 与 答 案 相 邻 一 跳 的 实 体 和 关 系 称 为 答 案 的 上 下 文 ， 使 用 同 样 的 方 法 进 行 嵌 入 表 示 ： \ \ [ \ \ m a t h b f _ ( a ) = \ \ f r a c _ ( a ) \ \ r i g h t \ \ | _ } \ \ m a t h b f _ \ \ m a t h b f _ ( a ) \ \ ] 其 中 ， \ \ ( \ \ m a t h b f _ ( a ) \ \ ) 为 答 案 周 围 一 跳 子 图 的 实 体 和 关 系 的 稀 疏 向 量 表 示 ， 其 余 参 数 与 答 案 路 径 中 的 相 仿 。 （ 3 ） 答 案 类 型 ： 作 者 认 为 ， 类 型 信 息 对 于 知 识 库 问 答 十 分 重 要 ， 可 以 根 据 问 题 直 接 限 定 到 答 案 的 类 型 。 例 如 当 问 题 中 有 “ W h e r e ” 的 时 候 ， 答 案 也 应 有 很 大 的 可 能 是 与 “ l o c a t i o n ” 相 关 的 类 型 。 因 此 ， 作 者 对 答 案 的 类 型 进 行 了 与 前 文 类 似 的 表 示 ： \ \ [ \ \ m a t h b f _ ( a ) = \ \ f r a c _ ( a ) \ \ r i g h t \ \ | _ } \ \ m a t h b f _ \ \ m a t h b f _ ( a ) \ \ ] 如 果 答 案 是 属 性 值 ， 作 者 会 将 答 案 的 类 型 定 义 为 它 的 数 值 类 型 （ 如 浮 点 数 、 字 符 串 、 日 期 等 ） 。 获 得 上 述 三 种 答 案 候 选 的 特 征 后 ， 作 者 将 这 些 特 征 与 问 题 的 表 示 进 行 联 合 打 分 计 算 相 似 度 ： \ \ [ S ( q , a ) = \ \ u n d e r b r a c e _ ( q ) ^ \ \ m a t h b f _ ( a ) } _ } + \ \ u n d e r b r a c e _ ( q ) ^ \ \ m a t h b f _ ( a ) } _ } + \ \ u n d e r b r a c e _ ( q ) ^ \ \ m a t h b f _ ( a ) } _ } \ \ ] 然 后 同 样 使 用 h i n g e l o s s 损 失 函 数 进 行 训 练 ： \ \ [ \ \ s u m _ \ \ f r a c \ \ r i g h t | } \ \ s u m _ } \ \ s u m _ \ \ i n R _ } l \ \ l e f t ( q , a , a ^ \ \ r i g h t ) \ \ \ \ l \ \ l e f t ( q , a , a ^ \ \ r i g h t ) = \ \ l e f t ( m S ( q , a ) + S \ \ l e f t ( q , a ^ \ \ r i g h t ) \ \ r i g h t ) _ \ \ ] 其 中 \ \ ( a ^ \ \ ) 为 答 案 \ \ ( q \ \ ) 的 负 样 本 （ 即 错 误 答 案 ） 。 实 验 证 明 ， 这 篇 论 文 的 方 法 比 《 Q u e s t i o n A n s w e r i n g w i t h S u b g r a p h E m b e d d i n g s 》 的 方 法 效 果 更 好 。 作 者 构 建 了 消 融 实 验 ， 用 数 据 证 明 了 上 述 的 各 个 特 征 和 步 骤 都 对 最 终 的 结 果 有 着 正 面 的 影 响 。 Q u e s t i o n A n s w e r i n g w i t h S u b g r a p h E m b e d d i n g s 论 文 笔 记 P o s t e d o n 2 0 2 2 0 1 0 5 I n P a p e r 《 Q u e s t i o n A n s w e r i n g w i t h S u b g r a p h E m b e d d i n g s 》 发 表 于 2 0 1 4 年 的 E M N L P ， 提 出 了 一 种 基 于 对 问 题 嵌 入 与 候 选 子 图 嵌 入 进 行 打 分 的 排 序 学 习 的 方 法 ， 是 基 于 信 息 检 索 的 知 识 库 问 答 中 比 较 有 代 表 性 的 工 作 。 e m n l p 2 0 1 4 1 上 图 展 示 了 该 工 作 的 主 要 方 法 。 如 图 所 示 ， 此 方 法 主 要 包 含 问 题 嵌 入 与 子 图 嵌 入 两 个 分 支 。 为 了 获 得 问 题 的 嵌 入 ， 该 文 使 用 了 同 一 种 稀 疏 统 计 表 示 方 式 ， 即 统 计 问 题 中 每 个 单 词 的 词 频 ， 从 而 得 到 与 整 个 词 表 大 小 相 同 的 稀 疏 统 计 向 量 表 示 ： \ \ ( \ \ p h i ( q ) \ \ i n \ \ m a t h b b ^ N \ \ ) ， 其 中 \ \ ( \ \ p h i ( q ) \ \ ) 为 问 题 的 稀 疏 统 计 向 量 ， \ \ ( N \ \ ) 为 整 个 词 表 （ 包 括 单 词 \ \ ( N _ W \ \ ) 、 知 识 库 中 的 实 体 和 关 系 \ \ ( N _ S \ \ ) ） 的 大 小 。 接 着 ， 通 过 一 个 可 训 练 词 嵌 入 参 数 矩 阵 \ \ ( \ \ t e x t b f \ \ ) ， 获 取 问 题 的 稀 疏 统 计 向 量 的 低 维 稠 密 的 文 本 嵌 入 表 示 ： \ \ [ f ( q ) = \ \ m a t h b f \ \ p h i ( q ) \ \ ] 作 者 对 答 案 的 嵌 入 表 示 \ \ ( g ( a ) \ \ ) 提 出 了 三 种 方 案 ： （ 1 ） 实 体 嵌 入 ： 与 问 题 嵌 入 的 方 式 相 同 ， 直 接 通 过 实 体 o n e h o t 在 共 享 的 词 嵌 入 参 数 矩 阵 中 获 取 对 应 的 嵌 入 ： \ \ [ g ( a ) = \ \ m a t h b f \ \ p s i ( a ) , \ \ ] 其 中 \ \ ( \ \ p s i ( a ) \ \ ) 为 与 \ \ ( \ \ p h i ( q ) \ \ ) 类 似 的 稀 疏 统 计 向 量 ， 会 将 答 案 以 \ \ ( N _ S \ \ ) 维 的 稀 疏 向 量 表 示 ， \ \ ( g ( a ) \ \ ) 为 获 得 的 实 体 嵌 入 （ 即 答 案 嵌 入 ） 。 如 果 一 个 问 题 存 在 多 个 答 案 ， 则 直 接 对 多 个 答 案 的 嵌 入 表 示 求 平 均 。 （ 2 ） 路 径 嵌 入 ： 该 工 作 会 考 虑 最 多 两 跳 的 答 案 路 径 。 例 如 对 一 个 两 跳 的 答 案 路 径 ： ( b a r a c k o b a m a , p e o p l e . p e r s o n . p l a c e o f b i r t h , l o c a t i o n . l o c a t i o n . c o n t a i n e d b y , h a w a i i ) 中 的 头 实 体 、 尾 实 体 和 路 径 上 的 所 有 谓 词 都 使 用 \ \ ( \ \ p s i ( a ) \ \ ) 进 行 嵌 入 。 （ 3 ） 子 图 嵌 入 ： 对 一 个 答 案 ， 在 一 跳 或 两 跳 的 范 围 内 构 建 子 图 ， 对 这 个 子 图 中 包 含 的 实 体 和 关 系 同 样 使 用 \ \ ( \ \ p s i ( a ) \ \ ) 进 行 嵌 入 。 但 为 了 区 分 答 案 路 径 与 子 图 中 实 体 和 关 系 ， 作 者 对 \ \ ( N _ S \ \ ) 设 定 了 两 倍 的 大 小 ， 子 图 和 路 径 的 嵌 入 分 别 使 用 不 同 的 部 分 。 通 过 上 述 的 方 法 分 别 获 取 问 题 的 嵌 入 \ \ ( f ( q ) \ \ ) 与 候 选 答 案 的 嵌 入 \ \ ( g ( a ) \ \ ) 后 ， 可 以 对 它 们 进 行 相 似 性 评 分 ： \ \ [ S ( q , a ) = f ( q ) ^ g ( a ) , \ \ ] 然 后 使 用 h i n g e l o s s 损 失 函 数 进 行 训 练 ： \ \ [ \ \ s u m _ ^ | } \ \ s u m _ \ \ i n \ \ o v e r l i n e } \ \ l e f t ( a _ \ \ r i g h t ) } \ \ m a x \ \ l e f t \ \ , a _ \ \ r i g h t ) + S \ \ l e f t ( q _ , \ \ b a r \ \ r i g h t ) \ \ r i g h t \ \ } \ \ ] 其 中 \ \ ( D \ \ ) 为 训 练 集 ， \ \ ( q , a \ \ ) 分 别 为 问 题 和 答 案 ， \ \ ( m \ \ ) 为 m a r g i n ， \ \ ( \ \ b a r \ \ ) 为 \ \ ( q _ i \ \ ) 的 负 样 本 。 最 小 化 该 损 失 函 数 可 以 达 到 让 问 题 与 正 确 答 案 的 打 分 尽 可 能 大 ， 让 问 题 与 错 误 打 分 的 打 分 尽 可 能 小 的 目 的 。 实 验 证 明 ， 这 篇 论 文 提 出 的 方 法 在 W e b Q u e s t i o n s 数 据 集 上 得 到 了 优 秀 的 结 果 。 对 比 实 验 也 发 现 ， 使 用 子 图 嵌 入 来 作 为 答 案 的 嵌 入 比 其 它 两 种 方 式 效 果 更 好 。 N N I 在 执 行 并 行 任 务 时 卡 死 在 W A I T I N G 状 态 P o s t e d o n 2 0 2 1 0 5 0 6 I n T o o l 在 使 用 N N I 自 动 跑 实 验 ， 过 了 几 个 小 时 去 看 了 一 眼 状 态 ， 结 果 发 现 有 任 务 一 直 处 于 W A I T I N G 状 态 （ 如 图 所 示 ） ， 而 实 际 上 服 务 器 的 G P U 并 非 处 于 全 部 被 占 用 的 状 态 。 经 过 查 阅 i s s u e 与 查 看 源 码 ， 发 现 n n i 判 定 W A I T I N G 状 态 的 任 务 在 何 时 可 以 执 行 并 将 状 态 转 变 为 R U N N I N G 的 条 件 是 文 件 / t m p / / n n i / s c r i p t / g p u _ m e t r i c s 中 g p u I n f o s 字 段 下 各 G P U 的 状 态 a c t i v e P r o c e s s N u m 。 由 于 服 务 器 上 有 G P U 实 时 监 控 软 件 在 不 断 调 用 n v i d i a s m i 程 序 ， 导 致 n n i 的 检 查 G P U 状 态 的 程 序 一 直 卡 在 n v i d i a s m i 处 。 而 n n i 中 专 门 有 个 脚 本 可 以 用 来 检 测 G P U 使 用 情 况 并 更 新 g p u _ m e t r i c s 文 件 ： / / s i t e p a c k a g e s / n n i / t o o l s / g p u _ t o o l / g p u _ m e t r i c s _ c o l l e c t o r . p y 。 查 看 代 码 可 以 看 到 ： 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 d e f m a i n ( a r g v ) : m e t r i c s _ o u t p u t _ d i r = o s . e n v i r o n [ M E T R I C _ O U T P U T _ D I R ] c m d = n v i d i a s m i q x . s p l i t ( ) w h i l e ( T r u e ) : t r y : s m i _ o u t p u t = s u b p r o c e s s . c h e c k _ o u t p u t ( c m d ) e x c e p t E x c e p t i o n : t r a c e b a c k . p r i n t _ e x c ( ) g e n _ e m p t y _ g p u _ m e t r i c ( m e t r i c s _ o u t p u t _ d i r ) b r e a k p a r s e _ n v i d i a _ s m i _ r e s u l t ( s m i _ o u t p u t , m e t r i c s _ o u t p u t _ d i r ) # T O D O : c h a n g e t o s l e e p t i m e c o n f i g u r a b l e v i a a r g u m e n t s t i m e . s l e e p ( 5 ) 因 此 ， 将 环 境 变 量 M E T R I C _ O U T P U T _ D I R 设 定 在 g p u _ m e t r i c s 所 在 的 目 录 ， 即 可 自 动 生 成 最 新 的 G P U 状 态 。 在 我 这 儿 卡 住 的 服 务 器 上 k i l l 掉 无 响 应 的 n v i d i a s m i 程 序 ， 执 行 M E T R I C _ O U T P U T _ D I R = / t m p / / n n i / s c r i p t / p y t h o n 3 m n n i . t o o l s . g p u _ t o o l . g p u _ m e t r i c s _ c o l l e c t o r ， 成 功 地 让 一 直 卡 在 W A I T I N G 状 态 的 程 序 继 续 运 行 ， 状 态 转 为 R U N N I N G 。 为 了 后 续 不 被 卡 住 ， 特 意 用 了 c r o n t a b 定 期 执 行 一 次 杀 掉 n v i d i a s m i 和 执 行 g p u _ m e t r i c s _ c o l l e c t o r 的 操 作 ， 一 劳 永 逸 。 1 2 … 1 8 京 I C P 备 1 8 0 2 9 4 7 2 号 1 © 2 0 1 6 – 2 0 2 3 l s v i h P o w e r e d b y H e x o & N e x T . P i s c e s

站点概括

关于lsvih.com说明：
lsvih.com由网友主动性提交被整理收录的，仅提供lsvih.com的基础信息并免费向大众网友展示，lsvih.com的是IP地址：- 地址：-，lsvih.com的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、lsvih.com的备案号是-、备案人叫-、被百度收录的关键词有0个、手机端关键词有0个、该站点迄今为止已经创建未知。

内容声明：

1、本站收录的内容来源于大数据收集，版权归原网站所有！
2、本站收录的内容若侵害到您的利益，请联系我们进行删除处理！
3、本站不接受违规信息，如您发现违规内容，请联系我们进行清除处理！
4、本文地址：https://www.xingzitai.com/xxzddh/5114aa17c241becf2b30.html，复制请保留版权链接！

---