UML软件工程组织

实时内存数据库的数据管理
作者:舒良才 刘云生 李国徽 卢炎生 选自:www.tongji.edu.cn

实 时 数 据 安 置
 

----1 . 实 时 应 用 对 数 据 安 置 的 要 求

---- 在 实 时 应 用 中, 事 务 在 运 行 前 的 操 作 逻 辑( 操 作 类 型、 顺 序 等)、 数 据 集 及 其 结 构、 行 为 以 及 时 间 的 相 关 性 等 都 是 可 预 分 析 的。 然 而, 对 磁 盘 数 据 库 而 言, 数 据 的I/O 是 造 成 事 务 执 行 时 间 不 确 定、 预 报 不 准 确 的 关 键 因 素。 为 此, 要 求 以 大 内 存 作 为 实 时 数 据 库 的 主 要 存 储 介 质, 使 一 个 事 务 在 活 动 期 间 没 有I/O, 以 达 到 较 准 确 的 预 报, 从 而 满 足 实 时 事 务 的 定 时 限 制。 但 这 要 解 决 两 个 问 题, 就 是 适 当 的 数 据 安 置 和 适 时 的 内 外 存 交 换。

----2 . 影 响 实 时 数 据 安 置 的 因 素 及 数 据 安 置 策 略

---- 数 据 在 不 同 存 储 层 上, 其 读、 改、 写 所 需 的 时 间 不 同, 影 响 数 据 安 置 策 略 的 主 要 因 素 是 数 据 和 事 务 的 特 征。

----(1) 数 据 特 征 及 其 影 响

---- 实 时 性 在 实 时 应 用 环 境 中, 与 每 一 数 据 相 联 的 有 一" 外 部 有 效 期", 数 据 的 安 置 必 须 考 虑 这 种 实 时 特 性。 实 时 数 据 又 可 分 为" 长 时 限" 和" 短 时 限", 短 时 限 实 时 数 据 必 须 保 存 在 内 存 中。

---- 存 取 频 率 高 频 数 据 应 常 驻 内 存。

---- 永 久 性 永 久 数 据 是 长 期 反 复 使 用 和 长 期 有 效 的 数 据, 临 时 或 短 暂 的 数 据 只 存 于 内 存 直 至 过 期。

---- 关 键 性 关 键 性 是 指 数 据 对 事 务 处 理 的 重 要 性。 为 了 确 保 其 事 务 的 高 性 能 要 求( 尤 其 是 像 实 时 事 务 的 截 止 期 这 样 的 要 求), 关 键 数 据 最 好 安 置 于 内 存。

----(2) 事 务 特 征 及 其 影 响

---- 事 务 类 型 的 影 响 " 只 写" 事 务 就 是 现 代 过 程 控 制 或 工 程 型 应 用 中 的" 数 据 接 收" 事 务, 这 种 事 务 是 很 短 的、 周 期 的 和 紧 急 的( 不 可 阻 塞 和 等 待), 因 而 它 们 的 数 据 应 置 于 内 存 中。" 只 读" 事 务 在 现 代 应 用 中 一 般 就 是" 控 制" 事 务, 这 种 事 务 在 提 交 以 前 就 可 能 已 物 理 地 改 变 了 外 部 环 境 状 态, 因 而 不 能 进 行 传 统 意 义 下 的Undo 恢 复, 而 通 过 运 行 其" 补 偿" 事 务 抵 消 它 的 影 响, 故 其 数 据 暂 不 能 交 换 到 外 存。 更 新 事 务 与 一 般 事 务 无 异。

---- 事 务 优 先 级 的 影 响 事 务 优 先 级 代 表 了 事 务 的 紧 迫 度, 所 以, 高 优 先 级 事 务 的 数 据 要 常 驻 内 存 且 不 能 交 换 出 去。

---- 事 务 恢 复 的 考 虑 与 数 据 类 似, 日 志 的 特 征 及 其 安 置 策 略 是 影 响 事 务 夭 折 - 重 启 动 进 而 影 响 其 截 止 期 满 足 的 主 要 因 素, 对 于 实 时 数 据 库, 必 须 设 计" 内 存 式" 日 志。

实 时 内 存 数 据 库 技 术
 

---- 关 于 什 么 是 内 存 数 据 库, 说 法 不 一, 但 我 们 认 为, 内 存 数 据 库 的 定 义 不 应 涉 及 内 存 的 大 小、 存 取 数 据 所 需I/O 的 多 少、 数 据 何 时 进 入 及 怎 样 才 能 留 驻 内 存 等 这 些 具 体 的 实 现 技 术, 而 只 包 含 数 据 库 常 驻 内 存( 而 不 是 磁 盘)、 事 务( 不 是 系 统) 的 数 据 存 取 只 涉 及 内 存 的 意 思。 内 存 数 据 库 是 支 持 实 时 事 务 的 最 佳 技 术, 其 本 质 特 征 是 其" 主 拷 贝" 或" 工 作 版 本" 常 驻 内 存, 即 活 动 事 务 只 与 实 时 内 存 数 据 库 的 内 存 拷 贝 打 交 道。 显 然, 它 要 求 较 大 的 内 存 量, 但 并 不 要 求 任 何 时 刻 整 个 数 据 库 都 能 存 放 在 内 存, 即 内 存 数 据 库 系 统 还 是 要 处 理I/O。 虽 然 如 此, 但 它 已 不 是 传 统 磁 盘 数 据 库 的 概 念, 传 统 数 据 库 适 用 的 数 据 结 构、 事 务 处 理 算 法 与 优 化、 并 发 控 制 及 恢 复 等 技 术 对 内 存 数 据 库 不 一 定 合 适。

---- 所 以, 实 时 内 存 数 据 库 的 设 计 应 该 打 破 传 统 磁 盘 数 据 库 的 设 计 观 念, 考 虑 内 存 直 接 快 速 存 取 的 特 点, 以CPU 和 内 存 空 间 的 高 效 利 用 为 目 标 来 重 新 设 计 开 发 各 种 策 略 与 算 法、 技 术、 方 法 及 机 制。

---- 实 时 事 务 要 求 系 统 能 较 准 确 地 预 报 事 务 的 运 行 时 间, 但 对 磁 盘 数 据 库 而 言, 由 于 磁 盘 存 取、 内 外 存 的 数 据 传 递、 缓 冲 区 管 理、 排 队 等 待 及 锁 的 延 迟 等 使 得 事 务 实 际 平 均 执 行 时 间 与 估 算 的 最 坏 情 况 执 行 时 间 相 差 很 大, 如 果 将 整 个 数 据 库 或 其 主 要 的" 工 作" 部 分 放 入 内 存, 使 每 个 事 务 在 执 行 过 程 中 没 有I/O, 则 为 系 统 较 准 确 估 算 和 安 排 事 务 的 运 行 时 间, 使 之 具 有 较 好 的 动 态 可 预 报 性 提 供 了 有 力 的 支 持, 同 时 也 为 实 现 事 务 的 定 时 限 制 打 下 了 基 础。

实 时 数 据 库 的 数 据 组 织
 

----1 . 数 据 库 空 间 结 构

---- 采 用 内 存 数 据 库 技 术, 数 据 库 的 存 储 空 间 是 一 个 四 层 结 构: 易 失 的 内 存M1 、 不 易 失 内 存M2 (Non-Volatile RAM)、 磁 盘 存 储 器M3 和 档 案 式 磁 带 存 储 器M4。

----M1 存 放 支 持 各 事 务 的 工 作 数 据, 故 称 为 实 时 数 据 库 的" 工 作 版 本"O-DB。 它 由 事 务 直 接 存 取, 一 般 事 务 也 只 与 它 打 交 道。

----M2 是M1 的 拓 延, 用 以 存 储 一 些 活 动 的 临 时 性 数 据, 称 为" 临 时 版 本"T-DB。O-DB 和T-DB 统 称 为 实 时 数 据 库 的" 内 存 版 本"(M-DB)。

----M3 用 来 存 放 不 在 内 存 的 数 据 库 部 分, 当 然 还 要 存 放 用 作 恢 复 的 数 据 库 备 份。 这 部 分 数 据 库 统 称 为 实 时 数 据 库 的" 外 存 版 本"(S-DB)。

----M4 一 般 是 脱 机 磁 带, 用 来 存 储 以 前 数 据 库 某 时 刻 完 整 状 态 的 映 像, 称 为 实 时 数 据 库 的" 后 援 版 本"A- DB, 仅 是 为 了 安 全 保 护 的 目 的 和 作 为 档 案 长 期 保 存。

---- 这 种 实 时 数 据 库 存 储 体 系 结 构 基 于 内 存 数 据 库 技 术, 考 虑 了 各 种 数 据 的 应 用 语 义 与 特 征 和 系 统 功 能 实 现, 是 合 理 可 行 的。

----2 . 物 理 数 据 组 织

---- 实 时 内 存 数 据 库 的 物 理 组 织 是 其 总 体 设 计 目 标 实 现 的 基 础, 其 存 储 结 构、 索 引 结 构、 中 间 数 据 存 储 结 构 都 必 须 考 虑 内 存 直 接 存 取 这 一 特 征, 这 里 介 绍 两 种 物 理 组 织 方 法。

----(1) 区 - 段 式

---- 区 - 段 式 组 织 基 于 关 系 数 据 模 型, 它 将 存 储 空 间 逻 辑 地 划 分 为" 分 区", 每 一 分 区 存 储 一 个 关 系, 物 理 上 由 若 干" 段" 组 成。 一 个 段 是 内 存 中 一 固 定 长 度 的 连 续 区 域, 它 相 当 于" 页", 是 内 外 存I/O 的 单 位, 也 是 内 存 空 间 分 配 及 内 存 数 据 库 恢 复 的 单 位。

----(2) 影 子 内 存 式

---- 它 将 内 存 数 据 库 空 间 划 分 成 实 时 内 存 数 据 库 的 主 拷 贝PDB 与" 影 子" 拷 贝SM 两 部 分。 在 事 务 操 作 期 间, 每 次 查 询 总 是 先 对SM 试 探, 若 不 成 功, 再 对PDB 操 作。 所 有 的 更 新 操 作 都 在SM 中 进 行, 且 都 记 录 在 活 动 日 志 中。 每 当 一 个 事 务 提 交 时, 由 它 所 产 生 的 在SM 中 的" 后 映 像" 就 拷 贝 到PDB 中。

----3 . 索 引 结 构

---- 磁 盘 数 据 库 有 多 种 有 效 的 索 引 结 构, 最 有 代 表 性 的 是AVL 树、B - 树 和B + - 树。

---- 对 实 时 内 存 数 据 库 而 言, 它 们 都 具 有 一 个 共 同 的 关 键 的 缺 点, 就 是 存 储 的 有 效 使 用 和 利 用 率 很 低, 而 查 找 性 能 已 不 像 在 磁 盘 中 那 样 优 越。 为 此, 我 们 开 发 出 一 种 兼 有 AVL 树 和B - 树 的 优 点 且 克 服 了 不 足 的 内 存 索 引 结 构SB - 树。 它 的 查 找 类 似 于 二 叉 树, 其 不 同 之 处 主 要 在 于 每 一 结 点 的 比 较 不 是 针 对 其 中 的 各 个 元 素 值, 而 是 对 其 最 大( 即 最 右) 者 和 最 小( 即 最 左) 者。SB - 树 的 维 护 操 作 类 似 于AVL 树, 但 由 于 其 独 特 的 结 点 结 构, 故 在 具 体 的 结 点 插 入 与 删 除 时 有 所 不 同。

实 时 内 存 数 据 库 的 数 据 装 入 与 交 换
 

----1 . 影 响 数 据 装 入 与 交 换 策 略 的 主 要 因 素

---- 有 两 方 面 的 因 素 影 响M-DB 数 据 的 装 入 与 交 换 策 略, 即 数 据 本 身 及 其 事 务 的 特 征。

---- 数 据 易 变 性 指 其 变 更 速 率。 不 同 数 据 有 不 同 的 变 化 速 率, 易 变 数 据 要 频 繁 更 新。

---- 数 据 活 跃 性 指 存 取 频 率。 应 该 保 证 活 跃 数 据 具 有 更 大 的 可 存 取 性。

---- 数 据 流 行 性 指 更 新 的 及 时 性。 流 行 数 据 必 须 保 持 与 现 实 世 界 当 前 真 实 状 态 一 致。

---- 数 据 相 关 性 指 多 个 数 据 经 常 被 一 起 使 用 的 程 度。 当 装 入 或 交 换 数 据 时, 相 关 性 强 的 数 据 应 同 时 装 入 或 交 换。

---- 事 务 的 特 征 这 里 只 考 虑 影 响 数 据 装 入 与 交 换 的 那 些 事 务 特 征。 首 先 是 在 嵌 套 事 务 中, 父 子 事 务 的 数 据 是 共 享 的, 故 在 进 行 内 存 装 入 和 与 外 存 交 换 时, 必 须 注 意 到 这 一 点。 其 次 是 实 时 事 务, 其 数 据 装 入 的 次 序 及 时 机 必 须 有 利 于 保 证 满 足 其 定 时 限 制。 再 有, 高 优 先 级 事 务 的 数 据 显 然 应 留 驻 内 存, 且 不 能 交 换 出 去。

----2 . 初 始 装 入

---- 内 存 数 据 库 初 装 时, 首 先 考 虑 的 是 事 务 的 优 先 级。 优 先 级 高 的 事 务 先 装 入 内 存, 或 者 不 分 优 先 级 而 按 调 度 策 略, 将 先 执 行 的 事 务 先 装 入 内 存; 其 次 是 数 据 的 流 行 性, 流 行 数 据 对 应 的 事 务 往 往 也 是 高 优 先 事 务; 再 次 就 是 活 跃 性, 存 取 频 率 高 的 数 据 一 般 还 是 先 要 被 存 取 的 数 据; 紧 密 相 关 的 数 据 则 随 时 要 考 虑 被 使 用。

---- 初 装 的 基 本 思 想 是 将 数 据 库 的 全 部 属 性 的 集 合 按 其 存 取 频 率 及 相 亲 度 划 分 成 子 集, 然 后 求 出 每 一 子 集 的 加 权 最 高 存 取 优 先 级, 最 后 依 内 存 容 量, 将 相 对 加 权 存 取 优 先 级 高 的 那 些 子 集 装 入 内 存。

----3 . 内 外 存 数 据 交 换

---- 实 时 内 存 数 据 库 没 有 要 求 整 个 数 据 都 始 终 在 内 存, 故 系 统 仍 要 通 过 提 供 一 种 内 外 存 数 据 交 换 策 略 来 支 持 实 时 内 存 数 据 库 的 实 现, 数 据 交 换 策 略 必 须 考 虑 各 种 因 素:

高 易 变 的 实 时 数 据 必 须 常 驻 内 存O-DB 中 且 不 能 被 交 换 出 去。
活 跃 或 高 频 数 据 应 留 驻 内 存O-DB 中, 一 般 不 应 交 换 出 去。
立 即 流 行 的 数 据 在 第 一 个 处 理 请 求 以 前 不 能 被 交 换 出 去。
高 优 先 级 事 务 的 数 据 在 事 务 的 活 动 期 不 能 被 交 换 出 去, 尤 其 当 事 务 是 周 期 性 事 务 时, 其 数 据 应 尽 可 能 常 驻O-DB。
非 永 久 数 据 和 关 键 数 据 最 好 不 要 换 出。 非 永 久 数 据 无 需 换 出; 关 键 数 据 至 关 重 要, 要 保 证 对 它 的 存 取 的 及 时 性 和 有 效 性。
---- 进 行 交 换 的 数 据 单 位 通 常 是 元 组 集( 页 或 块)。

实 时 内 存 数 据 库 的 故 障 恢 复
 

----1 . 恢 复 机 制

---- 对 实 时 内 存 数 据 库 而 言, 恢 复 显 得 更 为 关 键, 它 与 传 统 的 恢 复 技 术 差 别 也 很 大, 主 要 表 现 在 日 志 设 施、 检 验 点 技 术、 数 据 重 装 策 略 等 方 面。 一 般 恢 复 机 制 模 型 应 基 于 以 下 原 理:

恢 复 的 焦 点 是 内 存 而 不 是 磁 盘 数 据 库。
恢 复 本 身 要 求 的 满 足 不 应 以 牺 牲 事 务 对M-DB 的 存 取 性 能 为 代 价, 这 意 味 着 恢 复 与 事 务 应 尽 可 能 进 行 异 步I/O。
恢 复 性 能 对 整 个 系 统 的 总 体 性 能 更 为 关 键, 因 而 要 开 发 适 合 于 实 时 数 据 库 的 恢 复 技 术 与 工 具。
---- 实 时 内 存 数 据 库 的 记 录 日 志 可 以 设 计 为:

日 志 缓 冲 区 与 事 务 的 工 作 区 合 一, 以 节 省 内 存。
日 志 缓 冲 区 中 只 记 录" 后 映 像", 即 只 需Redo-only 记 录, 不 必Undo 记 录。
每 个 活 动 事 务 有 各 自 的SLB(Stable Log Buffer), 然 后 按 数 据 库 片 聚 簇 成 页, 再 一 次 一 页 地 写 入 磁 盘 日 志 中。
---- 做 检 验 点 的 目 的 是 为 了 减 小 恢 复 的 工 作 量, 它 限 制 恢 复 活 动 仅 对 那 些 自 上 次 检 验 点 以 来 开 始 的 事 务 进 行, 其 任 务 就 是 将 这 些 事 务 对 数 据 库 所 作 的 变 更 进 行 备 份。 做 备 份( 检 验 点) 的 策 略 有 三 种:

---- 事 务 一 致 性 备 份( 检 验 点) 它 原 子 地 反 映 一 个 事 务 活 动, 故 备 份 或 者 全 是 后 映 像( 事 务 提 交) 或 者 全 是 前 映 像( 事 务 夭 折)。

---- 活 动 一 致 性 备 份 它 原 子 地 反 映 每 一 活 动( 不 是 整 个 事 务), 故 备 份 可 能 既 有 前 映 像 也 有 后 映 像, 但 不 会 有 反 映 部 分 变 更 状 态 的 记 录。

---- 模 糊 备 份( 检 验 点) 它 不 保 证 事 务 或 活 动 的 原 子 性。

---- 前 面 两 种 一 致 性 检 验 点 要 保 证 在 检 验 点 期 间, 被 备 份 的 数 据 不 同 时 被 活 动 的 事 务 修 改, 达 到 这 个 目 的 的 算 法 有 多 种, 有 代 表 性 的 是 静 止 检 验 点、 黑 白 检 验 点 与 更 新 时 复 制 检 验 点。

----2 . 数 据 库 的 重 装 入 恢 复

---- 重 装 就 是 由 数 据 库 外 存 版 本S-DB 和 日 志 恢 复 数 据 库 内 存 版 本M-DB 的 过 程。 重 装 有 完 全 重 装 和 部 分 重 装 两 种 类 型。 完 全 重 装 是 针 对 掉 电 等 系 统 故 障 的, 初 装 策 略 在 这 里 可 以 适 用。 部 分 重 装 是 针 对 内 存 介 质 故 障 或 内 存 不 能 存 储 整 个 数 据 库 的, 所 以, 交 换 策 略 适 用 这 里 的 情 况, 只 是 这 里 考 虑 的 是 如 何 选 择 要 换 入 的 数 据。

---- 一 种 带 优 先 级 的 顺 序 重 装 法 对 实 时 数 据 库 比 较 有 效, 它 考 虑 事 务 优 先 级, 先 装 立 即 所 需 数 据, 使 系 统 尽 快 地 重 启 动 运 行, 然 后 按 需 要 逐 步 装 入 数 据。


 

版权所有:UML软件工程组织