多模态基础大模型技术白皮书.pdf

《多模态基础大模型技术白皮书.pdf》由会员分享，可在线阅读，更多相关《多模态基础大模型技术白皮书.pdf（105页珍藏版）》请在悟道方案网上搜索。

1、多 模 态 基 础 大 模 型 技 术 白 皮 书（2 0 2 2）中 国 科 学 院 自 动 化 研 究 所武 汉 人 工 智 能 研 究 院华 为 技 术 有 限 公 司多 模 态 人 工 智 能 产 业 联 合 体2 0 2 2 年 9 月目 录1 概 述.11.1 多 模 态 基 础 大 模 型 简 介.32 多 模 态 基 础 大 模 型 国 内 外 发 展 现 状.62.1 语 言 大 模 型 国 内 外 发 展 现 状.62.2 视 觉 大 模 型 国 内 外 发 展 现 状.1 82.3 语 音 大 模 型 国 内 外 发 展 现 状.2 72.4 多 模 态 大 模 型 国

2、内 外 发 展 现 状.3 82.5 大 模 型 人 工 智 能 平 台 国 内 外 发 展 现 状.4 32.6 全 球 战 略 引 导 与 政 策 支 持 现 状.5 12.7 总 结.5 33 多 模 态 大 模 型 关 键 技 术.5 43.1 中 文 预 训 练 大 模 型 关 键 技 术 分 析.5 43.2 视 觉 预 训 练 大 模 型 关 键 技 术 分 析.6 03.3 语 音 预 训 练 大 模 型 关 键 技 术 分 析.6 73.4 多 模 态 大 模 型 关 键 技 术 分 析.7 24 多 模 态 大 模 型 产 业 分 析.7 64.1 人 工 智 能 创 新

3、不 断，“一 体 两 翼”快 速 发 展.7 74.2 多 模 态 大 模 型 人 工 智 能 成 为 发 展 新 范 式.7 84.3 从 谋 求 模 型 与 数 据 规 模 的“极 致”，向 场 景 化 实 用 化 发 展 7 94.4 多 模 态 大 模 型 成 为 人 工 智 能 基 础 设 施，模 型 研 发 从“手 工 作坊”迈 入 工 业 化 生 产 时 代.8 05 多 模 态 大 模 型 典 型 应 用 及 潜 在 应 用 场 景.8 25.1 新 闻 媒 体.8 35.2 对 话 客 服.8 35.3 智 慧 城 市.8 65.4 生 物 科 技.8 65.5 智 能 工

4、厂.8 75.6 金 融 科 技.8 85.7 民 生 服 务.8 85.8 其 他 应 用.8 96 多 模 态 大 模 型 发 展 规 划 建 议.9 06.1 打 造 工 业 化 范 式 的 多 模 态 大 模 型 生 态.9 06.2 持 续 完 善 国 产 基 础 软 硬 件 支 撑 体 系.9 16.3 加 快 A i F o r S c i e n c e 领 域 的 发 展 力 度.9 26.4 健 全 人 工 智 能 产 业 应 用 政 策 标 准，大 力 培 养 复 合 型 人 才.9 2参 考 文 献.9 311 概述当 前，新 一 代 人 工 智 能 已 成 为 世 界

5、 各 国 的 竞 争 焦 点，抢 占 未 来 技术 战 略 制 高 点 意 义 重 大。由 于 持 续 开 放 的 动 态 环 境、各 行 业 领 域 不 断攀 升 的 系 统 复 杂 度 以 及 快 速 扩 大 的 数 据 规 模 总 量，智 能 技 术 应 用 需 求不 断 增 长，智 能 形 态 和 认 知 水 平 持 续 深 入 发 展。从 互 联 网 到 移 动 互 联网 再 到 物 联 网、星 联 网 时 代，计 算 硬 件 体 积 不 断 压 缩、功 耗 与 成 本 持续 降 低，新 一 代 人 工 智 能 已 经 成 为 共 性 支 撑 技 术，推 动 经 济、社 会、民 生、

6、国 家 安 全、制 造 等 领 域 进 行 数 字 化 和 智 能 化 转 型。另 一 方 面，伴 随 互 联 网/行 业 大 数 据、并 行 计 算 能 力、机 器 学 习 算 法 的 突 破 和 人类 智 能 本 质 认 知 探 索 的 深 入，新 一 代 人 工 智 能 发 展 还 在 继 续 加 速。随 着 生 成 式 预 训 练(G e n e r a t i v e P r e-T r a i n，G P T)、基 于T r a n s f o r m e r 的 双 向 编 码 器 表 达(B i d i r e c t i o n a l E n c o d e rR e p

7、r e s e n t a t i o n f r o m T r a n s f o r m e r s,B E R T)、G P T-3、D A L L-E、S w i t c hT r a n s f o r m e r、华 为 盘 古、悟 道、E R I N E、M 6 等 大 规 模 预 训 练 模 型 快速 涌 现，人 工 智 能 研 究 领 域 正 在 经 历 一 场 有 监 督 学 习 向 无 监 督 学 习 条件 下“大 数 据+大 模 型”的 大 规 模 预 训 练 范 式 转 变，即 基 于 海 量 广 域数 据 训 练 并 且 经 过 微 调 学 习 自 动 适 应 应

8、 用 于 广 泛 下 游 任 务 的 模 型。大规 模 预 训 练 模 型 起 源 于 自 监 督 的 语 言 模 型，自 监 督 的 深 度 语 言 神 经 网络 模 型 最 初 只 在 自 然 语 言 处 理 领 域 展 开 研 究，直 到 2 0 1 8 年 B E R T 模 型在 1 1 项 N L P 任 务 基 准 上 都 打 破 了 纪 录，取 得 了 巨 大 成 功，性 能 远 超第 二 名。2 0 1 9 年 以 后，基 于 自 监 督 学 习 的 语 言 模 型 已 成 为 基 础 性 方法，这 与 2 0 1 2 年 基 于 卷 积 神 经 网 络 A l e x N

9、e t 在 I m a g e N e t 2 0 1 2 上 的 突2破 很 相 似，标 志 着 一 个 大 模 型 时 代 的 开 始。当 下，自 然 语 言 处 理(N a t u r a l L a n g u a g e P r o c e s s i n g,N L P)领 域 几 乎 所 有 的 目 前 最 先 进 的模 型(S t a t e-O f-T h e-A r t m o d e l,S O T A)都 是 基 于 T r a n s f o r m e r 的 大 模型 架 构 进 化 而 来 的，而 这 种 趋 势 也 正 在 向 图 像、视 频、语 音 等 不

10、同 模态、不 同 领 域 扩 散 蔓 延。人 工 智 能 从 单 模 态 有 监 督 迈 向 多 模 态 自 监 督 学 习 时 代。目 前 网 络数 据 中 9 0%以 上 是 图 像 与 视 频，更 多 知 识 蕴 含 其 中。人 类 的 信 息 获 取、环 境 感 知、知 识 学 习 与 表 达，都 是 采 用 跨 模 态 的 输 入 输 出 方 式。如 何设 计 计 算 机 模 型 并 使 其 具 有 强 大 的 无 监 督 学 习 与 通 用 知 识 迁 移 能 力，使 不 同 领 域 任 务 在 统 一 框 架 下 实 现 基 于 低 标 注 代 价 的 性 能 提 升？一种 可

11、行 的 路 径 是 通 过 跨 模 态 语 义 关 联，提 升 多 模 态 融 合 理 解 以 及 跨 模态 转 换 与 生 成 性 能。当 前，单 模 态 预 训 练 模 型 在 数 据 规 模 和 模 型 性 能 方 面 已 经 遇 到 瓶颈，而 且 单 模 型 只 涵 盖 了 互 联 网 数 据 中 的 单 一 模 态 信 息，更 丰 富 的 包含 文 本、语 音、图 像、视 频 等 多 种 模 态 数 据 的 信 息 并 未 被 充 分 利 用 与学 习。此 外，人 类 的 信 息 获 取、环 境 感 知、知 识 学 习 与 表 达，都 是 通过 多 模 态 信 息 方 式 进 行 执

12、 行。因 此，为 实 现 更 加 通 用 的 人 工 智 能 模 型，预 训 练 模 型 必 然 由 单 模 态 往 多 模 态 方 向 发 展，需 将 文 本、语 音、图 像、视 频 等 多 模 态 内 容 联 合 起 来 进 行 学 习，并 专 注 多 模 态 内 容 之 间 的 关 联特 性 与 跨 模 态 转 换 问 题。这 样 一 方 面 可 以 引 入 多 维 度 的 信 息，另 一 方面 可 以 利 用 互 联 网 上 大 量 的 多 模 态 数 据，使 得 模 型 能 够 学 习 更 通 用 化的 特 征 表 示，以 此 增 强 模 型 的 通 用 性 和 泛 化 能 力。31

13、.1 多 模 态 基 础 大 模 型 简 介多 模 态 预 训 练 大 模 型 架 构 与 G P T 和 B E R T 类 似，也 是 基 于 自 注 意力 机 制 T r a n s f o r m e r 深 度 学 习 模 型，其 最 大 特 点 是 模 型 的 输 入 由 单 一模 态 的 文 本 拓 展 到 文 本、语 音、图 像、视 频 等 多 个 模 态 数 据 同 时 作 为输 入。多 模 态 大 模 型 主 要 指 输 入 包 括 两 种 及 以 上 模 态 的、参 数 量 大 于亿 级 的 深 度 学 习 网 络 模 型。单 模 态 大 模 型 主 要 是 指 模 型

14、输 入 只 包 括 一种 模 态（如 只 包 括 语 音、图 像 或 文 本）的、大 规 模 参 数 量 的 深 度 神 经网 络 模 型。一 个 关 键 的 科 学 问 题 是 如 何 设 计 神 经 网 络 模 型 并 使 其 具 有强 大 的 无 监 督 学 习 与 通 用 知 识 迁 移 能 力，使 不 同 领 域 任 务 在 统 一 框 架下 实 现 基 于 低 标 注 代 价 的 性 能 提 升。一 种 可 行 的 路 径 是 通 过 跨 模 态 语义 关 联，提 升 多 模 态 融 合 理 解 以 及 跨 模 态 转 换 与 生 成 性 能。多 模 态 预训 练 模 型 通 常

15、采 用 无 监 督 学 习 的 方 法 进 行 大 规 模 训 练，预 训 练 数 据 来自 互 联 网 上 大 量 的 多 模 态 数 据，例 如 网 页、视 频 等，无 需 人 工 标 注，从 而 具 有 良 好 的 拓 展 性 和 通 用 性。在 不 微 调 或 采 用 少 量 数 据 微 调 的 情况 下，多 模 态 预 训 练 模 型 就 可 直 接 用 于 解 决 不 同 类 型 的 多 模 态 数 据 处理 问 题，例 如 为 视 频 自 动 配 上 字 幕、声 音，输 入 声 音 和 文 本 自 动 生 成图 像 或 视 频 片 段 等。多 模 态 数 据 相 比 单 模 态

16、数 据 更 具 有 研 究 意 义，但同 时 也 存 在 更 多 的 困 难 与 挑 战。具 体 而 言，多 模 态 预 训 练 模 型 的 研 究 面 临 以 下 挑 战：（1）模 型 构 建 不 完 善现 有 的 多 模 态 预 训 练 模 型 往 往 忽 略 了 视 觉 内 容 的 语 义 编 码，对 视觉 内 容 常 使 用 离 线 训 练 的 目 标 检 测 模 型 进 行 编 码，然 后 进 行“图 像-4文 本”的 匹 配，而“目 标-语 义”才 是 实 际 任 务 中 真 正 的 需 求 所 在。另 一 方 面，现 有 模 型 的 训 练 方 式 和 优 化 机 制 沿 用 了

17、 语 言 预 训 练 模 型 的范 式，相 对 于 N L P 任 务 中 的 自 由 文 本，多 模 态 对 齐 数 据 的 获 取 难 度 大，面 临 着 数 据 噪 声 大、不 同 模 态 缺 失 等 挑 战。为 此，需 围 绕 基 于 全 注 意力 机 制 的 跨 模 态 关 联 建 模，对 T r a n s f o r m e r 模 型 在 视 觉 中 的 应 用 进 行改 进；充 分 发 挥 多 模 态 预 训 练 模 型 对 不 同 模 态 数 据 间 关 联 互 补 特 性 的有 效 建 模 能 力，以 及 模 态 信 息 缺 失 情 形 下 的 鲁 棒 分 析 能 力；设

18、 计 与 多模 态 预 训 练 模 型 网 络 结 构 尽 可 能 兼 容 的 多 任 务 学 习 机 制，优 化 模 型 参数 的 学 习 机 制。（2）知 识 利 用 不 充 分目 前，多 模 态 预 训 练 领 域 通 过 增 加 训 练 数 据 和 计 算 资 源 来 提 升 模型 的 性 能，而 这 种 粗 放 耗 能 方 式 和 人 类 大 脑 的 集 约 计 算 方 式 是 完 全 不一 样 的，并 且 这 种 粗 放 的 学 习 方 式 随 着 数 据 量 和 计 算 机 资 源 的 增 长，所 带 来 的 收 益 会 越 来 越 小，而 且 很 快 会 达 到 性 能 瓶 颈

19、。另 外，数 据 知 识，数 据 是 未 经 组 织 和 处 理 的 文 本、声 音、图 像 和 视 频，本 身 没 有意 义；而 知 识 与 内 容 相 关，是 可 表 示、可 计 算、可 生 长、有 逻 辑、可推 理 的 更 高 层 智 能 载 体，是 有 意 义 的。为 此，需 构 建 知 识 引 导 的 多 模态 预 训 练 模 型，研 究 多 模 态 数 据 与 知 识 统 一 表 征 的 预 训 练 模 型 构 建、知 识 嵌 入 的 多 模 态 预 训 练 模 型 构 建 方 法、大 规 模 预 训 练 模 型 的 可 解 释性 理 论，提 升 模 型 的 可 信 可 解 释 性

20、。（3）理 解 与 生 成 不 统 一5多 模 态 内 容 的 理 解 与 表 达 是 人 类 智 能 中 的 最 重 要 能 力 之 一。然 而，现 有 的 预 训 练 模 型 通 常 极 少 同 时 具 备 理 解 与 生 成 能 力，他 们 要 么 仅 仅关 注 理 解 类 而 缺 乏 生 成 的 能 力，或 者 仅 关 注 生 成 任 务 却 对 理 解 类 任 务表 现 欠 佳。在 实 际 应 用 中 也 通 常 需 要 同 时 对 多 模 态 数 据 进 行 理 解 和 生成。为 此，需 研 究 多 模 态 内 容 理 解 与 生 成 任 务 统 一 建 模，面 向 理 解 与生

21、成 任 务 相 关 的 多 种 下 游 任 务，包 括 语 音 识 别、语 音 合 成、视 觉 描 述、视 觉 问 答、视 觉 内 容 生 成、跨 模 态 检 索 等 具 体 应 用，设 计 与 多 模 态 预训 练 模 型 尽 可 能 兼 容 的 多 任 务 学 习 机 制，使 得 各 个 任 务 的 学 习 能 够 互相 兼 容、互 为 增 强，各 个 任 务 可 以 从 其 他 任 务 中 所 学 到 的 技 能 和 知 识中 收 益，在 提 升 模 型 性 能 和 泛 化 能 力 的 同 时，赋 予 预 训 练 模 型 更 强 的通 用 性。（4）应 用 部 署 代 价 高大 规 模

22、预 训 练 模 型 通 常 包 含 数 以 亿 计 的 参 数，海 量 的 参 数 量 使 得预 训 练 大 模 型 在 下 游 任 务 微 调 和 推 理 解 码 时 速 度 慢，对 计 算 资 源 要 求高，计 算 成 本 大，并 且 无 法 满 足 线 上 系 统 的 实 时 性 要 求，导 致 无 法 在实 际 场 景 开 展 高 效 部 署 应 用。因 此，需 研 究 面 向 应 用 部 署 的 模 型 推 理加 速、面 向 特 定 任 务 的 模 型 泛 化 与 迁 移 学 习，实 现 高 效 的 预 训 练 学 习算 法，同 时 保 障 预 训 练 模 型 泛 化 性 和 鲁 棒

23、 性。62 多模 态基 础大 模型 国内 外发 展现 状2.1 语 言 大 模 型 国 内 外 发 展 现 状近 年 来，随 着 E L M o 1、G P T-1 2、B E R T 3、G P T-2 4 与 G P T-3 5 等 预 训 练 语 言 模 型 的 发 布，预 训 练 技 术 这 场 革 新 正 在 自 然 语 言 处 理 领域 悄 然 展 开，并 迅 速 影 响 到 它 的 各 个 子 领 域 之 中。顾 名 思 义，预 训 练 指 的 是 使 用 通 用 性 的 任 务 和 大 规 模 的 无 标 注 数据 进 行 第 一 阶 段 的 训 练，让 机 器 学 习 模 型

24、 学 习 到 具 有 较 强 泛 化 性 的 参数。接 下 来，对 于 特 定 的 下 游 任 务，模 型 仅 需 对 学 习 好 的 参 数 进 行 微小 的 调 整（或 训 练）就 能 够 完 成 高 效 迁 移，达 到 显 著 的 性 能 表 现。上 述 方 法 被 我 们 称 作“预 训 练+微 调”，该 范 式 逐 步 覆 盖 自 然 语言 处 理 的 各 大 任 务 并 带 来 了 显 著 的 改 进，如 文 本 分 类、阅 读 理 解、序列 标 注 和 文 本 生 成 等。图 2.1-1 预 训 练 语 言 模 型 发 展 脉 络 图预 训 练 语 言 模 型 发 展 迅 速，发

25、 展 脉 络 如 图 2-1 所 示。我 们 对 近 年来 国 内 外 的 相 关 研 究 做 了 简 单 的 分 类，其 中 大 部 分 研 究 可 以 被 归 纳 到以 下 三 类：7 预 训 练 方 法 优 化 与 改 进；面 向 目 标 任 务 的 预 训 练 方 法；超 大 规 模 模 型 高 效 训 练 框 架（M 6、华 为、抖 音）；我 们 对 于 这 三 个 方 向 的 发 展 分 别 进 行 总 结。2.1.1 预 训 练 方 法 优 化 与 改 进(1)自 回 归 与 自 编 码 的 预 训 练 方 法自 回 归 方 法 是 传 统 条 件 语 言 模 型 常 用 的 训

26、 练 方 法，例 如 G P T，它旨 在 训 练 模 型 根 据 给 定 的 上 文 预 测 当 前 词 汇，如 图 2.1-2 所 示，模 型根 据 语 句 部 分“t h e s k y i s”来 预 测 即 将 出 现 的 词 汇“b l u e”。对 于句 子 x，自 回 归 模 型 按 照 最 大 化 对 数 似 然 损 失 的 方 式 进 行 参 数 优 化，公 式 如 下：111()l og(|,;)ni i k iiL x P x x x 自 编 码 的 预 训 练 方 法 代 表 性 的 工 作 是 掩 码 语 言 模 型，如 B E R T。简 单 来 说，模 型 需

27、要 通 过 对 于 遮 盖 数 据 的 预 测 进 行 参 数 优 化。如 图图 2.1-2(1)自 回 归 预 训练 示 意 图图 2.1-2(2)自 编 码 预 训练 示 意 图82.1-2 所 示，我 们 将 输 入 中“b l u e”用 掩 码 m a s k 代 替，让 模 型 在 输出 层 预 测 出“b l u e”。对 于 句 子 x，假 设 其 中 存 在 m 个 需 要 预 测 的 词 汇，那 么 其 损 失 函数 的 形 式 化 表 示 可 以 写 作：1()l og(m a s k|,)mi iiL x P y x 自 回 归 预 训 练 模 型 擅 长 于 文 本

28、生 成，能 够 进 行 文 本 创 作 和 新 闻 撰写 等；自 编 码 预 训 练 模 型 侧 重 于 文 本 理 解，能 够 迁 移 到 多 种 下 游 任 务中 获 取 强 大 的 性 能 改 进。在 这 两 类 预 训 练 方 法 的 基 础 上，各 种 不 同 的模 型 相 继 被 提 出，预 训 练 的 研 究 如 雨 后 春 笋 般 发 展 起 来。(2)自 回 归 与 自 编 码 的 统 一 框 架自 回 归 和 自 编 码 两 类 预 训 练 方 法 各 有 优 劣，大 量 的 研 究 讨 论 如 何将 他 们 的 优 势 进 行 统 一。在 各 种 改 进 的 预 训 练

29、方 法 中，排 列 语 言 模 型 和 序 列 到 序 列 的 方 法影 响 最 大，它 们 间 接 地 将 自 回 归 和 自 编 码 统 一 在 同 一 个 框 架 中，同 时发 挥 文 本 生 成 和 文 本 理 解 的 作 用。X L N e t 6 是 一 类 排 列 语 言 模 型。它 打 乱 文 本 序 列 的 顺 序，但 仍 然预 测 原 始 文 本 中 的 下 一 个 词 汇。通 过 这 种 方 式，X L N e t 可 以 同 时 利 用左 侧 和 右 侧 文 本 的 信 息，模 拟 自 编 码 的 形 式 实 现 自 回 归 的 任 务，在 一系 列 下 游 任 务 上

30、 取 得 了 显 著 的 性 能 改 进。9图 2.1-3 自 回 归 训 练 模 型自 回 归 训 练 方 法 虽 然 可 以 进 行 文 本 生 成，但 是 没 有 对 于 给 定 前 缀和 生 成 内 容 进 行 区 分。序 列 到 序 列 的 预 训 练 方 法 应 运 而 生，这 类 方 法对 于 条 件 生 成 任 务 非 常 有 效。常 见 的 模 型 如 基 于 掩 码 的 序 列 到 序 列 预训 练 框 架 M A S S 7、基 于 序 列 到 序 列 模 型 的 降 噪 自 编 码 器 B A R T 8 等。M A S S 能 够 对 编 码 器 和 解 码 器 进

31、行 联 合 训 练 提 高 特 征 抽 取 和 语 言 模 型的 表 征 能 力，对 基 于 少 量 样 本 的 语 言 生 成 任 务，如 机 器 翻 译、文 本 摘要 和 对 话 生 成 等，进 行 参 数 微 调 能 够 获 得 较 好 的 性 能。B A R T 通 过 先损 坏 文 档 再 解 码 恢 复 的 策 略 实 现 从 损 坏 文 档 到 原 始 文 档 之 间 的 鲁 棒映 射。另 一 类 方 法 使 用 注 意 力 机 制 将 理 解 和 生 成 任 务 结 合 起 来，如U n i L M 9 等。对 于 理 解 任 务，模 型 打 开 双 向 注 意 力，同 时 关

32、 注 上 文 和下 文；对 于 生 成 任 务，模 型 在 计 算 注 意 力 分 布 的 时 候 将 后 续 文 本 进 行遮 盖；当 然，模 型 也 能 够 结 合 二 者 来 实 现 条 件 生 成 任 务，如 图 2.1-4所 示。1 0图 2.1-4 U n i L M 框 架 示 意 图(3)预 训 练 的 经 验 性 训 练 方 法除 了 基 本 训 练 方 法 和 模 型 结 构 的 设 计，研 究 者 们 也 开 始 探 讨 如 何设 置 训 练 的 参 数 来 达 到 更 好 的 效 果。M e t a 的 研 究 者 通 过 调 整 B E R T 训 练 过 程 中 的

33、 批 处 理 大 小 和 学 习 率发 现，更 大 的 批 样 本 能 够 显 著 改 进 预 训 练 的 效 果，发 布 了 R o B E R T a 模型 1 0；华 为 基 于 B E R T 和 G P T 提 出 N E Z H A 模 型 1 1，提 供 了 更 加 丰富 的 训 练 技 巧；百 度 提 出 的 E R N I E 1.0 1 2 和 E R N I E 2.0 1 3，在 B E R T的 基 础 上 进 行 了 全 词 掩 码，在 中 文 任 务 上 取 得 了 更 好 的 效 果；Z E N 模型 1 4 融 入 了 n-g r a m 信 息，取 得 了

34、相 比 于 B E R T 模 型 更 好 的 收 敛 速 度和 性 能 表 现；M a c B E R T 1 5 则 使 用 相 似 词 替 换 M A S K 字 符，以 缓 和 预训 练 和 下 游 任 务 的 不 一 致 性。这 些 研 究 表 明，预 训 练 语 言 模 型 的 训 练 不 仅 是 科 学 研 究 问 题，也是 工 程 问 题，因 此 如 何 更 好 地 设 计 训 练 方 法 发 挥 模 型 最 大 的 效 用 也 是工 业 界 主 要 探 索 的 问 题 之 一。1 12.1.2 面 向 目 标 任 务 的 预 训 练 语 言 模 型(1)多 语 言 融 合 的

35、 预 训 练 模 型融 合 多 语 言 的 预 训 练 模 型 旨 在 使 用 同 一 套 参 数 处 理 多 种 不 同 的语 言 文 本。该 方 法 可 以 捕 捉 不 同 语 言 之 间 的 相 似 性 规 律，从 而 达 到 互相 帮 助 的 效 果。常 见 的 多 语 言 预 训 练 模 型 往 往 包 含 两 种，一 种 是 仅 使 用 单 语 数 据训 练，让 模 型 自 动 捕 捉 不 同 语 言 之 间 的 相 似 性 规 律，如 X L M-M L M 模 型等；另 一 种 则 同 时 使 用 单 语 数 据 和 平 行 数 据，充 分 发 挥 训 练 语 料 的 能力，如

36、 X L M-T L M 模 型 等。多 语 言 融 合 的 预 训 练 模 型 往 往 能 够 在 跨 语 言 任 务 上 取 得 不 错 的性 能 表 现，如 机 器 翻 译、跨 语 言 问 答 等，也 具 备 很 好 的 语 言 迁 移 能 力。但 是，该 类 模 型 的 训 练 方 法 与 单 语 训 练 方 法 基 本 保 持 一 致，我 们 认 为，如 何 根 据 语 言 之 间 的 规 律 设 计 训 练 方 法 是 该 领 域 未 来 研 究 的 核 心。(2)融 入 外 部 知 识 的 预 训 练 模 型预 训 练 语 言 模 型 通 过 对 大 规 模 文 本 数 据 统

37、计 规 律 的 捕 捉，蕴 含 了一 定 程 度 知 识 信 息，如 语 言 学 知 识 和 事 实 性 知 识 等。但 是，这 种 知 识仍 然 存 在 噪 声，模 型 仍 需 要 具 备 见 多 识 广 的 能 力。一 些 工 作 希 望 将 知 识 图 谱 中 的 事 实 三 元 组 信 息 融 入 到 预 训 练 模型 中，清 华 和 华 为 提 出 E R N I E 模 型，使 用 额 外 的 知 识 融 合 层 次 将 知 识信 息 在 预 训 练 阶 段 注 入 到 模 型 之 中。当 然，也 有 研 究 探 讨 直 接 在 推 理阶 段 使 用 知 识 对 于 文 本 表 示

38、 进 行 增 让，如 K-B E R T 1 6，它 使 用 树 状1 2结 构 约 束 自 注 意 力 分 布，减 少 结 构 化 知 识 影 响 的 同 时，增 强 文 本 表 示的 知 识 性。除 了 将 外 部 知 识 融 入 预 训 练 之 中，将 预 训 练 本 身 蕴 含 的 知 识 进 行抽 取 也 是 当 前 研 究 的 热 点 之 一，常 见 的 方 法 如 基 于 提 示 的 方 法，虽 然可 以 抽 取 到 一 定 程 度 的 事 实 性 知 识，但 是 仍 然 存 在 较 多 噪 声，如 何 将噪 声 去 除 也 是 当 前 该 方 向 上 亟 待 探 索 的 关 键

39、 问 题 之 一。(3)面 向 对 话 生 成 的 预 训 练 模 型人 机 对 话 模 型 旨 在 让 机 器 理 解 人 类 语 言，并 根 据 人 类 语 言 的 意 图执 行 特 定 任 务 或 做 出 相 应 回 答，从 而 实 现 与 人 类 进 行 自 由 交 流 与 沟 通的 目 标。目 前 对 话 模 型 大 致 可 分 为 两 类，一 类 为 任 务 型 对 话 模 型，例如 智 能 客 服、问 答 系 统 等，主 要 是 针 对 特 定 领 域 内 具 体 任 务 而 设 计 的；另 一 类 是 开 放 域 对 话 模 型，以 达 到 人 与 人 之 间 自 由、无 约

40、束 的 闲 聊 水平 为 目 的。随 着 深 度 学 习 与 神 经 网 络 的 不 断 发 展，端 到 端 的 对 话 模 型已 经 成 为 主 流 的 设 计 方 案。端 到 端 的 对 话 模 型 一 般 由 编 码 器 和 解 码 器 两 部 分 构 成 的，编 码 器接 收 历 史 信 息 并 对 其 进 行 编 码，解 码 器 根 据 编 码 结 果 生 成 对 应 的 回 复。模 型 能 够 通 过 编 码 器 学 习 到 语 言 信 息 的 良 好 表 征，并 从 中 获 取 语 义 等更 深 层 次 的 信 息，从 而 在 后 续 的 解 码 阶 段 模 型 才 能 够 生

41、成 语 义 通 顺、逻 辑 一 致 的 高 质 量 回 复。此 外，为 了 学 习 到 能 够 媲 美 人 类 的 语 言 表 征和 理 解 能 力，对 话 模 型 往 往 有 着 大 规 模 的 参 数 且 在 海 量 的 人 类 对 话 数据 上 进 行 训 练。近 几 年 来，国 内 外 在 对 话 模 型 方 面 的 研 究 也 是 成 果 斐1 3然，越 来 越 多 大 规 模、性 能 卓 越 的 对 话 模 型 的 发 布 也 是 不 断 刷 新 了 人机 对 话 的 各 类 评 价 指 标。百 度 的 P L A T O 系 列 模 型 在 全 球 独 树 一 帜，最 新 发 布

42、 的P L A T O-X L 1 7 也 成 为 了 全 球 最 大 的 对 话 生 成 模 型。2 0 1 9 年 百 度 发 布了 通 用 领 域 的 对 话 模 型 P L A T O，该 模 型 首 次 提 出 了 将 离 散 隐 变 量 与T r a n s f o r m e r 的 编 码 器-解 码 器 结 构 相 结 合，离 散 隐 变 量 的 每 一 个 取值 都 与 一 个 回 复 意 图 相 对 应，从 而 对 上 文 历 史 信 息 与 回 复 之 间“一 对多”的 关 系 进 行 有 效 的 建 模。在 编 码 过 程 中 使 用 双 向 的 编 码 器，达 到充

43、 分 理 解 上 下 文 信 息 的 目 的，在 解 码 过 程 中 使 用 单 向 的 解 码 器，结 合隐 变 量 对 应 的 意 图 自 回 归 式 地 生 成 合 理 的 回 复。2 0 2 0 年 百 度 在 P L A T O的 基 础 上 进 一 步 扩 展 优 化 提 出 了 P L A T O-2，该 模 型 通 过 扩 展 网 络 层 数，增 加 训 练 集 数 据，将 模 型 增 加 到 1 6 亿 参 数。此 外，P L A T O-2 将 具 体训 练 过 程 分 为 两 个 阶 段：第 一 阶 段，在 一 对 一 映 射 的 简 化 框 架 下，训练 粗 粒 度 生

44、 成 模 型 来 学 习 回 复 生 成；第 二 阶 段，进 一 步 训 练 细 粒 度 生成 模 型 和 评 估 模 型，其 中 细 粒 度 生 成 模 型 显 式 地 建 模 一 对 多 关 系，评估 模 型 则 用 来 学 习 回 复 的 一 致 性 从 而 选 择 最 合 适 的 回 复。P L A T O-X L作 为 2 0 2 1 年 发 布 的 全 球 首 个 百 亿 参 数 的 模 型，也 在 P L A T O、P L A T O-2模 型 的 基 础 上 进 一 步 增 强 了 模 型 对 话 理 解 和 回 复 生 成 的 能 力。由 于 训练 语 料？大 多 是 社

45、交 媒 体 对 话，涉 及 多 个 角 色 且 对 话 话 题 较 广，因 此模 型 难 以 区 分 历 史 信 息 中 不 同 角 色 的 观 点 与 信 息，从 而 会 产 生 前 后 不一 致 的 回 复。针 对 此 类 问 题，P L A T O-X L 进 行 了 多 角 色 感 知 的 预 训 练，以 生 成 更 加 流 程 一 致 的 回 复。P L A T O-X L 凭 借 其 千 亿 级 的 训 练 语 料 和1 4百 亿 级 的 参 数 规 模 已 经 在 各 类 评 估 指 标 上 显 著 超 越 了 目 前 主 流 的 对话 模 型。F a c e b o o k 提

46、 出 的 B l e n d e r 对 话 模 型 具 有 仅 次 于 P L A T O-X L 的 9 4亿 参 数，是 一 个 强 大 的 综 合 人 工 智 能 聊 天 机 器 人 框 架。该 模 型 结 合 了三 个 子 模 型：检 索 模 型、生 成 模 型、检 索+生 成 模 型。检 索 模 型 以 对话 历 史 信 息 为 输 入，在 候 选 集 中 对 每 一 个 响 应 进 行 评 分，并 从 中 选 择最 合 适 的 作 为 回 复；生 成 模 型 采 用 经 典 的 端 到 端 的 T r a n s f o r m e r 结 构，根 据 历 史 信 息 直 接 生

47、 成 回 复；检 索+生 成 模 型 采 用 了“检 索 和 提 炼“的方 式，首 先 检 索 出 候 选 的 回 复，再 将 该 候 选 传 入 生 成 器 中 作 为 参 考，进 一 步 产 生 更 加 高 质 量 的 回 复。B l e n d e r 也 是 凭 借 上 述 模 型 提 供 的 先进 的 解 码 生 成 策 略 和 混 合 技 能，集 移 情、知 识、个 性 于 一 体，在 各 领域 内 都 达 到 了 能 与 人 自 然 交 互 对 话 的 水 平。尽 管 现 有 的 对 话 模 型 已 经 达 到 了 媲 美 人 类 的 对 话 水 平，但 是 依 旧存 在 不 少

48、 问 题 亟 待 解 决：1）模 型 会 经 常 重 复 对 方 的 说 话 内 容，产 生 较 为 普 遍 的 迎 合 式 或者 附 和 式 回 复，缺 乏 个 性 化、新 颖 的 对 话 内 容；2）模 型 无 法 记 住 所 有 的 历 史 信 息，也 无 法 根 据 对 话 内 容 建 立 逻辑 上 的 联 系，因 此 很 容 易 产 生 自 相 矛 盾、前 后 不 一 致 的 情 况；3）模 型 缺 乏 对 知 识 和 客 观 事 实 的 理 解，除 非 针 对 特 定 领 域 精 心挑 选 训 练 数 据，否 则 模 型 很 容 易 产 生 与 客 观 事 实 相 悖 等 错 误。

49、想 要 完 美 解 决 上 述 问 题 是 十 分 困 难 的，如 何 构 建 一 个 真 正 像 人 类一 样 智 能 的 对 话 模 型 仍 然 是 当 今 人 工 智 能 领 域 的 一 大 挑 战。1 5(4)预 训 练 语 言 模 型 的 蒸 馏 与 压 缩预 训 练 语 言 模 型 虽 然 在 自 然 语 言 任 务 中 取 得 了 很 好 的 效 果，但 是这 类 模 型 参 数 量 较 大，难 以 满 足 实 际 应 用 中 的 时 间 和 空 间 需 求。为 了缓 解 该 问 题，研 究 者 们 开 始 讨 论 使 用 知 识 蒸 馏 的 方 法 来 进 行 预 训 练 模型

50、 压 缩 和 加 速，代 表 性 工 作 如 D i s i l B E R T 1 8、M o b i l e B e r t 1 9，在原 有 的 损 失 基 础 上 增 加 了 蒸 馏 损 失 项 和 词 向 量 余 弦 损 失，让 小 模 型 也具 备 大 模 型 的 能 力。除 了 基 础 的 蒸 馏 方 法，现 在 的 工 作 也 开 始 探 讨 针 对 特 定 任 务 的 蒸馏、渐 进 式 的 知 识 迁 移 等，更 大 程 度 上 保 留 模 型 原 本 能 力 的 同 时 减 小体 积、提 升 解 码 速 度。2.1.3 超 大 规 模 预 训 练 模 型 的 训 练 方 法