走近源码

网站标签

源码、 大数据、 Hadoop、 Hive、 HDFS、 Mapreduce、 Spark、 Flink、 docker、 java、 学习、 资料、 技术、

---

网站描述

该站未曾设置description

---

上一篇：四川泰常律师事务所

下一篇：东莞尼龙联轴器供应商|东莞链条联轴器供应商|宏博工业传动设备

seo综合信息

SEO信息	百度来访IP：- | 移动端来访IP：- | 出站链接：0 | 站内链接：0
IP网速：	IP地址：- 地址：- | 网速：654毫秒
ALEXA排名	世界排名：- | 预估IP：- | 预估PV：-
备案信息	- | 名称：- | 已创建：未知

收录	百度	360	搜狗	谷歌
查询	0	0	0	0

电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
0	0	电脑端优秀	-	0	0

服务器信息 协议类型 - 页面类型 - 服务器类型 - 程序支持 - 连接标识 - 消息发送 - GZIP检测 - 源文件大小 - 压缩后大小 - 压缩率 -

网站快照

走 近 源 码 走 近 源 码 F l i n k 系 列 S p a r k 系 列 H i v e 系 列 H a d o o p 系 列 大 数 据 基 础 D o c k e r 实 战 J a v a 进 阶 日 常 总 结 F l i n k 系 列 【 F l i n k 系 列 一 】 A p a c h e F l i n k 介 绍 A p a c h e F l i n k 是 A p a c h e 软 件 基 金 会 的 顶 级 项 目 ， 也 是 当 下 被 广 泛 使 用 的 开 源 大 数 据 计 算 引 擎 之 一 。 基 于 它 “ 流 批 一 体 ” 的 技 术 ， 越 来 越 多 的 企 业 选 择 A p a c h e F l i n k 应 用 于 自 身 的 业 务 场 景 ， 如 底 层 平 台 建 设 、 实 时 数 仓 、 实 时 推 荐 、 实 时 分 析 、 实 时 大 屏 、 实 时 风 控 等 场 景 中 ， 解 决 实 时 计 算 的 需 求 。 【 F l i n k 系 列 二 】 F l i n k 部 署 与 应 用 F l i n k 是 一 个 分 布 式 系 统 ， 需 要 有 效 分 配 和 管 理 计 算 资 源 才 能 执 行 流 应 用 程 序 。 它 集 成 了 所 有 常 见 的 集 群 资 源 管 理 器 ， 例 如 H a d o o p Y A R N ， 也 可 以 作 为 独 立 集 群 运 行 。 本 文 主 要 介 绍 了 F l i n k 的 集 群 架 构 、 部 署 模 式 以 及 基 于 Y a r n 的 集 群 模 式 和 高 可 用 。 【 F l i n k 系 列 三 】 F l i n k D a t a S t r e a m A P I 实 践 原 理 D a t a S t r e a m A P I 位 于 F l i n k 四 层 抽 象 A P I 体 系 中 第 二 层 的 核 心 A P I ， 为 数 据 处 理 提 供 了 通 用 的 模 块 组 件 ， 例 如 各 种 形 式 的 用 户 自 定 义 转 换 、 窗 口 和 状 态 等 操 作 ， 本 文 主 要 介 绍 F l i n k 流 式 处 理 模 型 ， 常 见 的 D a t a S t r e a m A P I 转 换 操 作 ， 并 提 供 一 个 基 于 K a f k a 完 整 的 示 例 。 【 F l i n k 系 列 四 】 F l i n k 中 的 时 间 概 念 本 文 将 主 要 介 绍 F l i n k 中 在 不 同 应 用 场 景 中 的 时 间 语 义 P r o c e s s i n g T i m e 和 E v e n t T i m e ( R o w T i m e ) ， 如 何 通 过 W a t e r m a r k 解 决 事 件 时 间 中 数 据 的 乱 序 和 延 迟 等 问 题 ， 以 及 W a t e r m a r k 与 W i n d o w 之 间 的 关 系 。 【 F l i n k 系 列 五 】 W i n d o w s 窗 口 计 算 窗 口 （ W i n d o w ） 是 处 理 无 界 流 的 关 键 所 在 。 窗 口 可 以 将 数 据 流 装 入 大 小 有 限 的 “ 桶 ” 中 ， 再 对 每 个 “ 桶 ” 加 以 处 理 。 本 文 重 点 将 放 在 F l i n k 如 何 进 行 窗 口 操 作 以 及 开 发 者 如 何 尽 可 能 地 利 用 F l i n k 所 提 供 的 功 能 。 【 F l i n k 系 列 六 】 P r o c e s s F u n c t i o n 与 A s y n c h r o n o u s I / O 本 文 介 绍 F l i n k D a t a S t r e a m 中 另 外 两 个 重 要 概 念 ： 一 个 是 P r o c e s s F u n c t i o n ， 它 是 “ 状 态 实 时 流 处 理 ” 的 底 层 抽 线 实 现 ， 用 户 在 应 用 程 序 中 自 由 地 处 理 来 自 单 流 或 多 流 的 数 据 ， 并 提 供 具 有 全 局 一 致 性 和 容 错 保 障 的 状 态 ； 另 一 个 是 A s y n c h r o n o u s I / O ， 它 解 决 数 据 流 关 联 访 问 外 部 D B 时 ， 流 处 理 的 吞 吐 量 和 时 延 的 问 题 。 【 F l i n k 系 列 七 】 F l i n k 状 态 管 理 和 容 错 之 S t a t e F l i n k 的 “ 有 状 态 流 式 处 理 ” ， 提 供 了 基 于 算 子 内 的 存 储 空 间 ， 解 决 了 无 状 态 流 式 处 理 架 构 中 依 赖 外 部 D B 带 来 的 性 能 问 题 和 时 延 问 题 。 同 时 ， 在 新 的 有 状 态 流 式 架 构 中 ， 对 s t a t e 的 管 理 以 及 系 统 的 容 错 能 力 、 数 据 一 致 性 、 稳 定 性 将 成 为 重 点 。 本 文 主 要 介 绍 了 s t a t e 访 问 和 存 储 管 理 ， 下 一 篇 会 重 点 介 绍 c h e c k p o i n t 实 现 原 理 、 持 久 化 以 及 故 障 恢 复 等 内 容 。 【 F l i n k 系 列 八 】 F l i n k 状 态 管 理 和 容 错 之 C h e c k p o i n t F l i n k 中 的 每 个 方 法 或 算 子 都 可 以 是 有 状 态 的 。 状 态 化 的 方 法 在 处 理 单 个 元 素 / 事 件 的 时 候 存 储 数 据 ， 状 态 成 为 各 个 类 型 的 算 子 重 要 部 分 。 为 了 让 状 态 容 错 ， F l i n k 需 要 为 状 态 添 加 C h e c k p o i n t ， 确 保 F l i n k 状 态 恢 复 ， 对 作 业 的 状 态 和 计 算 位 置 进 行 恢 复 ， 向 应 用 提 供 和 无 故 障 执 行 时 一 样 的 语 义 。 【 F l i n k 系 列 九 】 F l i n k 类 型 系 统 与 序 列 化 A p a c h e F l i n k 以 特 有 的 方 式 处 理 数 据 类 型 和 序 列 化 ， 包 含 自 己 的 类 型 描 述 符 、 泛 型 类 型 提 取 和 类 型 序 列 化 框 架 。 它 定 制 自 己 的 序 列 化 框 架 ， 到 底 有 什 么 意 义 呢 ？ 本 质 是 对 类 型 信 息 有 更 多 的 了 解 ， 在 早 期 完 成 类 型 检 查 ， 更 好 的 选 取 序 列 化 方 式 ， 进 行 数 据 布 局 ， 节 省 数 据 的 存 储 空 间 。 【 F l i n k 系 列 十 】 F l i n k T a b l e & S Q L 实 践 原 理 （ 上 ） A p a c h e F l i n k 有 两 种 关 系 型 A P I 来 做 流 批 统 一 ： T a b l e A P I 和 S Q L 。 T a b l e A P I 是 用 于 S c a l a 和 J a v a 语 言 的 查 询 A P I ， 它 可 以 用 一 种 非 常 直 观 的 方 式 来 组 合 使 用 选 取 、 过 滤 、 j o i n 等 关 系 型 算 子 。 F l i n k S Q L 是 基 于 A p a c h e C a l c i t e 来 实 现 的 标 准 S Q L 。 无 论 输 入 是 连 续 的 （ 流 式 ） 还 是 有 界 的 （ 批 处 理 ） ， 在 任 一 接 口 中 指 定 的 查 询 都 具 有 相 同 的 语 义 和 相 同 的 结 果 。 【 F l i n k 系 列 十 一 】 F l i n k T a b l e & S Q L 实 践 原 理 （ 中 ） 本 文 主 要 介 绍 了 在 中 F l i n k C a t a l o g 如 何 为 F l i n k 的 表 和 数 据 源 提 供 元 数 据 管 理 。 包 括 有 哪 些 类 型 ， 如 何 注 册 ， 有 哪 些 A P I ； 以 及 如 何 通 过 H i v e C a t a l o g 实 现 F l i n k S Q L 与 H i v e 的 集 成 ； 并 介 绍 了 F l i n k S Q L 的 客 户 端 工 具 S Q L C l i e n t ， 及 多 客 户 端 下 远 程 并 发 执 行 S Q L 的 网 关 服 务 S Q L G a t e W a y 。 【 F l i n k 系 列 十 二 】 F l i n k T a b l e & S Q L 实 践 原 理 （ 下 ） F l i n k S Q L 以 简 化 实 时 计 算 模 型 ， 降 低 用 户 使 用 实 时 计 算 门 槛 而 设 计 的 一 套 符 合 标 准 S Q L 语 义 的 开 发 语 言 。 本 文 从 三 部 分 内 容 ： S Q L 语 句 、 函 数 （ F u n c t i o n ） 和 模 块 （ M o d u l e ） 来 介 绍 F l i n k S Q L 支 持 的 操 作 和 语 义 。 【 F l i n k 系 列 十 三 】 F l i n k C D C 介 绍 与 使 用 F l i n k C D C 是 A p a c h e F l i n k 的 一 个 重 要 组 件 ， 主 要 使 用 了 C D C 技 术 从 各 种 数 据 库 中 获 取 变 更 流 并 接 入 到 F l i n k 中 。 A p a c h e F l i n k 作 为 一 款 非 常 优 秀 的 流 处 理 引 擎 ， 其 S Q L A P I 又 提 供 了 强 大 的 流 式 计 算 能 力 ， 因 此 结 合 F l i n k C D C 能 带 来 非 常 广 阔 的 应 用 场 景 。 S p a r k 系 列 【 S p a r k 系 列 一 】 知 识 体 系 总 览 S p a r k 知 识 体 系 脑 图 整 理 【 S p a r k 系 列 二 】 初 识 S p a r k ， H e l l o W o r l d ! A p a c h e S p a r k 是 通 用 的 一 站 式 计 算 框 架 ， 是 专 为 大 规 模 数 据 处 理 而 设 计 的 快 速 通 用 的 计 算 引 擎 。 2 0 0 9 年 诞 生 于 U C B e r k e l e y 的 A M P L a b ， 2 0 1 0 年 开 源 ， 2 0 1 3 年 成 为 A p a c h e 孵 化 项 目 ， 2 0 1 4 年 成 为 A p a c h e 顶 级 项 目 ， 2 0 1 6 年 发 布 S p a r k 2 . 0 ， 2 0 1 7 年 引 入 一 套 新 的 流 式 计 算 模 型 ， 2 0 1 9 年 发 布 S p a r k 3 . 0 预 览 版 ， 2 0 2 0 年 发 布 S p a r k 3 . 0 发 布 正 式 版 ， 2 0 2 2 年 来 到 最 新 的 3 . 3 版 本 。 【 S p a r k 系 列 三 】 S p a r k 架 构 与 运 行 原 理 本 文 主 要 介 绍 S p a r k 基 础 架 构 、 R D D 概 念 、 依 赖 关 系 、 S t a g e 划 分 、 运 行 流 程 和 作 业 调 度 【 S p a r k 系 列 四 】 3 0 分 钟 快 速 入 门 S c a l a 我 们 知 道 S p a r k 支 持 S c a l a 、 J a v a 、 P y t h o n 、 R 等 开 发 语 言 。 S p a r k 是 由 S c a l a 语 言 编 写 的 ， 简 洁 而 优 雅 ， 无 论 应 用 程 序 开 发 ， 还 是 阅 读 S p a r k 源 码 都 需 要 了 解 S c a l a 这 门 语 言 。 【 S p a r k 系 列 五 】 S p a r k R D D 编 程 R D D 是 S p a r k 对 数 据 的 核 心 抽 象 ， 同 时 R D D 也 可 以 表 示 为 对 象 ， 通 过 对 象 上 的 方 法 调 用 进 行 各 种 操 作 。 本 文 将 重 点 介 绍 R D D 的 创 建 方 式 ， 转 化 操 作 ( t r a n s f o r m a t i o n ) 、 行 为 操 作 ( a c t i o n ) 和 S h u f f l e 操 作 以 及 R D D 的 持 久 化 、 分 区 、 P a i r R D D 及 共 享 变 量 。 【 S p a r k 系 列 六 】 调 优 概 述 ： 性 能 优 化 和 硬 件 配 置 由 于 S p a r k 内 存 计 算 的 特 点 ， S p a r k 程 序 可 能 会 受 到 集 群 中 各 种 资 源 的 瓶 颈 限 制 例 如 ： C P U 、 网 络 带 宽 和 内 存 等 因 素 。 大 多 数 情 况 下 ， 如 果 数 据 全 部 在 内 存 中 ， 则 瓶 颈 是 网 络 带 宽 ， 但 有 时 还 需 要 进 行 一 些 其 它 方 面 的 调 整 ， 例 如 通 过 调 整 存 储 R D D 的 序 列 化 方 式 ， 减 少 内 存 使 用 。 如 下 图 所 示 ， 本 文 从 序 列 化 、 内 存 、 其 它 注 意 事 项 、 硬 件 配 置 等 几 个 方 向 介 绍 如 何 优 化 S p a r k 性 能 （ 文 中 内 容 主 要 参 考 自 官 网 ） 。 【 S p a r k 系 列 七 】 S p a r k S Q L , D a t a F r a m e s a n d D a t a s e t s 大 数 据 时 代 早 期 ， H i v e 是 唯 一 运 行 在 H a d o o p 上 的 S Q L O n H a d o o p 工 具 。 底 层 H i v e 负 责 S Q L 解 析 优 化 ， 转 成 M a p R e d u c e 任 务 处 理 数 据 。 但 是 M a p R e d u c e 它 的 性 能 并 不 理 想 效 率 低 下 ， 为 了 提 高 S Q L O n H a d o o p 的 效 率 ， S h a r k （ S Q L O n H i v e ） 应 运 而 生 ， 为 了 与 H i v e 兼 容 ， S h a r k 在 H i v e Q L 上 重 用 了 H i v e 中 H i v e Q L 的 解 析 、 逻 辑 执 行 计 划 翻 译 、 执 行 计 划 优 化 等 逻 辑 ， 可 以 简 单 认 为 仅 将 物 理 执 行 计 划 从 M a p R e d u c e 替 换 成 了 S p a r k 作 业 ， 通 过 H i v e 的 H i v e Q L 解 析 ， 把 H i v e Q L “ 翻 译 ” 成 S p a r k 的 R D D 操 作 。 【 S p a r k 系 列 八 】 S p a r k S Q L 整 合 H i v e ， 及 常 见 S Q L 用 法 的 示 例 本 文 主 要 介 绍 如 何 配 置 ， 并 了 解 S p a r k S Q L 语 法 、 语 义 、 关 键 字 和 常 见 用 法 示 例 。 【 S p a r k 系 列 九 】 S p a r k S t r e a m i n g 详 解 S p a r k S t r e a m i n g 是 S p a r k c o r e A P I 的 扩 展 ， 支 持 实 时 数 据 流 的 可 扩 展 、 高 吞 吐 量 、 容 错 流 处 理 。 可 以 从 K a f k a 、 K i n e s i s 或 T C P s o c k e t 等 多 种 数 据 源 获 取 ， 并 使 用 高 级 函 数 （ 如 m a p 、 r e d u c e 、 j o i n 和 w i n d o w ） 表 达 复 杂 算 法 进 行 处 理 。 最 后 ， 处 理 后 的 数 据 推 送 到 文 件 系 统 、 数 据 库 和 实 时 D a s h b o a r d 。 同 时 ， 可 以 在 数 据 流 上 应 用 S p a r k 的 机 器 学 习 和 图 形 处 理 算 法 。 【 S p a r k 系 列 十 】 S p a r k S t r u c t u r e d S t r e a m i n g 详 解 S t r u c t u r e d S t r e a m i n g （ 结 构 化 流 ） 是 基 于 S p a r k S Q L 引 擎 构 建 的 兼 具 可 扩 展 性 和 容 错 性 得 流 处 理 引 擎 。 可 以 像 对 静 态 数 据 表 示 批 处 理 计 算 的 方 式 来 表 示 流 计 算 。 S p a r k S Q L 引 擎 负 责 以 增 量 的 方 式 连 续 地 运 行 ， 并 在 流 数 据 不 断 到 达 时 更 新 最 终 结 果 。 开 发 者 可 以 使 用 S c a l a 、 J a v a 、 P y t h o n 或 R 中 的 D a t a s e t / D a t a F r a m e A P I 来 表 示 流 的 聚 合 、 事 件 时 间 窗 口 （ e v e n t t i m e w i n d o w ） 、 流 到 批 （ s t r e a m t o b a t c h ） 的 j o i n 等 。 计 算 在 同 一 个 优 化 的 S p a r k S Q L 引 擎 上 执 行 。 最 后 ， 系 统 通 过 c h e c k p o i n t 和 预 写 日 志 确 保 端 到 端 的 e x a c t l y o n c e 。 H i v e 系 列 【 H i v e 系 列 一 】 知 识 体 系 总 览 A p a c h e H i v e ™ 是 基 于 H a d o o p 的 一 个 数 据 仓 库 工 具 ， 可 以 将 结 构 化 的 数 据 文 件 映 射 为 一 张 数 据 库 表 ， 并 提 供 类 S Q L 语 句 的 H Q L ( H i v e S Q L ) 查 询 功 能 ， 将 S Q L 语 句 转 换 为 M R 等 任 务 运 行 。 H i v e 是 由 F a c e b o o k 在 2 0 0 8 年 将 捐 献 给 A p a c h e ， 2 0 1 0 年 9 月 毕 业 成 为 A p a c h e 顶 级 项 目 。 【 H i v e 系 列 二 】 架 构 原 理 使 用 H i v e Q u e r y L a n g u a g e （ H Q L ） ， 类 似 于 S Q L 的 声 明 性 语 言 ， 将 查 询 转 换 为 M a p R e d u c e 等 计 算 程 序 。 开 发 人 员 通 过 将 复 杂 的 程 序 替 换 为 H i v e 查 询 来 对 结 构 化 和 半 结 构 化 数 据 进 行 处 理 和 分 析 。 熟 悉 S Q L 命 令 的 人 可 以 轻 松 编 写 H i v e 查 询 【 H i v e 系 列 三 】 命 令 C L I 要 获 得 H i v e 使 用 帮 助 ， 执 行 “ h i v e H ” 或 “ h i v e h e l p ” 。 【 H i v e 系 列 四 】 存 储 格 式 与 数 据 压 缩 本 文 主 要 介 绍 H i v e 主 要 使 用 的 存 储 格 式 和 常 用 压 缩 方 式 。 【 H i v e 系 列 五 】 数 据 定 义 语 句 D D L 本 文 主 要 介 绍 H i v e 数 据 库 ， 表 ， 属 性 ， 视 图 ， 分 区 ， 函 数 ， 索 引 ， 列 等 数 据 对 象 及 相 关 C r e a t e ， A l t e r ， D r o p ， S h o w ， T r u n c a t e . . . 等 语 句 。 【 H i v e 系 列 六 】 数 据 操 作 语 句 D M L 本 文 主 要 介 绍 H i v e 的 L O A D 、 I N S E R T 、 U P D A T E 、 D E L E T E 、 M E R G E 、 I M P O R T / E X P O R T . . . 等 语 句 。 【 H i v e 系 列 七 】 数 据 查 询 S Q L 本 文 主 要 介 绍 H i v e W H E R E 子 句 、 D I S T I N C T 子 句 、 基 于 分 区 的 查 询 、 H A V I N G 子 句 、 L I M I T 子 句 、 R E G E X 正 则 列 选 择 等 语 句 。 【 H i v e 系 列 八 】 执 行 计 划 本 文 主 要 介 绍 H i v e S Q L 执 行 计 划 的 使 用 方 法 。 【 H i v e 系 列 九 】 调 优 汇 总 （ 2 0 条 建 议 ） 本 文 主 要 从 以 下 维 度 总 结 出 H i v e 2 0 条 性 能 优 化 建 议 。 执 行 引 擎 、 表 优 化 、 S Q L 优 化 、 J O B 优 化 、 存 储 格 式 和 压 缩 、 合 并 小 文 件 、 J V M 重 用 与 推 测 执 行 。 【 H i v e 系 列 十 】 数 据 倾 斜 数 据 分 布 不 均 ， 造 成 大 量 数 据 集 中 到 一 点 ， 形 成 数 据 热 点 ， 例 如 ： 某 一 个 或 几 个 k e y 的 分 布 占 据 了 整 个 数 据 的 百 分 之 八 九 十 ， 使 得 单 个 计 算 节 点 获 得 的 数 据 量 远 远 大 于 其 它 节 点 ， 导 致 该 节 点 计 算 压 力 过 大 、 计 算 效 率 下 降 或 计 算 内 存 溢 出 。 【 H i v e 系 列 十 一 】 元 数 据 ( M e t a S t o r e ) 表 结 构 设 计 前 面 介 绍 过 M e t a s t o r e 是 一 个 中 央 存 储 库 ， 存 储 H i v e 的 s c h e m a 或 m e t a d a t a 、 表 、 表 中 的 属 性 、 数 据 库 的 数 据 类 型 和 H D F S 映 射 。 本 文 以 M y S Q L 为 例 ， 一 起 学 习 下 H i v e 元 数 据 表 结 构 设 计 。 【 H i v e 系 列 十 二 】 核 心 源 码 分 析 （ 含 d e b u g 方 法 ） 本 文 以 h i v e 3 . 1 . 3 源 码 为 例 ， 下 载 源 码 并 完 成 本 地 编 译 、 打 包 （ 注 意 某 些 包 依 赖 L i n u x 下 执 行 ， W i n d o w s 下 可 以 在 g i t b a s h 下 执 行 ） ： H a d o o p 系 列 【 H a d o o p 系 列 一 】 初 识 H a d o o p 不 管 学 习 什 么 技 术 ， 最 好 的 方 式 一 定 不 是 一 头 扎 到 具 体 细 节 里 ， 而 更 好 的 方 式 是 从 时 空 的 角 度 先 了 解 它 的 来 龙 去 脉 ， 以 及 它 为 什 么 会 演 进 成 为 现 在 的 状 态 。 本 文 将 带 着 大 家 重 新 回 顾 一 下 H a d o o p 的 发 展 历 程 、 核 心 组 件 、 生 态 圈 、 发 行 版 本 ， 架 构 演 进 ， 以 及 集 群 中 的 的 守 护 进 程 、 机 架 感 知 、 启 动 、 配 置 、 日 志 及 W e b I n t e r f a c e 等 具 体 内 容 。 【 H a d o o p 系 列 二 】 H D F S 架 构 详 解 H D F S 是 分 布 式 计 算 中 数 据 存 储 管 理 的 基 础 ， 在 架 构 设 计 上 有 很 多 值 得 学 习 和 研 究 的 地 方 ， 作 为 经 典 的 分 布 式 文 件 系 统 ， 本 文 将 从 H D F S 的 设 计 原 则 上 、 核 心 组 件 N a m e N o d e 和 D a t a N o d e ， 文 件 系 统 命 名 空 间 ， 数 据 复 制 ， 文 件 系 统 元 数 据 的 持 久 化 ， 通 信 协 议 ， 健 壮 性 设 计 ， 数 据 访 问 方 式 以 及 空 间 回 收 等 方 面 进 行 一 一 介 绍 。 【 H a d o o p 系 列 三 】 H D F S 数 据 存 储 原 理 本 文 重 点 介 绍 了 H D F S 读 写 原 理 、 核 心 流 程 ； H D F S 集 中 缓 存 管 理 架 构 、 配 置 和 使 用 ； 以 及 H D F S 异 构 存 储 ， 包 括 4 种 存 储 类 型 和 5 种 存 储 策 略 ， 并 着 重 介 绍 了 L a z y _ P e r s i s t ， P r o v i d e d 。 【 H a d o o p 系 列 四 】 N a m e N o d e 详 解 本 文 将 重 点 介 绍 了 ， 随 着 H a d o o p 版 本 不 断 迭 代 ， N a m e N o d e 在 容 错 性 、 可 用 性 的 、 扩 展 性 等 方 面 的 架 构 设 计 和 演 进 。 主 要 包 括 H a d o o p 1 . x 时 期 的 S e c o n d a r y N a m e N o d e ， 2 . x 以 后 基 于 N F S 和 Q J M 的 H A 高 可 用 机 制 ， H D F S F e d e r a t i o n （ 联 邦 ） 机 制 ， 文 件 系 统 命 名 空 间 的 管 理 方 式 V i e w F s ， 以 及 N a m e N o d e 的 安 全 模 式 。 【 H a d o o p 系 列 五 】 H D F S 用 户 指 南 前 面 的 文 章 已 经 对 H D F S 的 设 计 目 标 、 核 心 架 构 、 存 储 原 理 等 内 容 做 了 详 细 介 绍 ， 而 本 文 主 要 站 在 用 户 和 管 理 员 的 角 度 ， 阐 述 与 H D F S 集 群 交 互 的 重 点 内 容 。 【 H a d o o p 系 列 六 】 H D F S 命 令 指 南 本 文 主 要 介 绍 H D F S 相 关 的 命 令 、 包 括 命 令 的 基 本 组 成 部 分 和 通 用 选 项 ， 及 用 户 命 令 和 管 理 员 命 令 。 其 中 在 用 户 命 令 部 分 对 和 H D F S 文 件 相 关 的 操 作 命 令 做 了 重 点 介 绍 。 【 H a d o o p 系 列 七 】 H D F S 权 限 与 配 额 本 文 主 要 介 绍 H D F S 关 于 权 限 和 配 额 的 部 分 ， 权 限 部 分 包 括 ： 权 限 模 型 、 用 户 身 份 、 用 户 和 组 的 映 射 关 系 、 权 限 检 查 过 程 以 及 A C L 访 问 控 制 列 表 ； 命 名 部 分 包 括 ： 目 录 配 额 、 空 间 配 额 和 存 储 策 略 配 额 ， 以 及 相 关 管 理 员 命 令 。 【 H a d o o p 系 列 八 】 H D F S 核 心 源 码 分 析 H a d o o p 3 . x 大 概 几 百 万 行 源 代 码 ， 实 际 上 是 很 难 进 行 全 面 的 阅 读 分 析 。 本 文 主 要 对 目 录 结 构 、 部 署 打 包 及 H D F S 相 关 核 心 的 / 模 块 / 类 / 方 法 进 行 针 对 性 的 介 绍 。 在 遇 到 实 际 问 题 时 ， 能 从 源 代 码 入 手 ， 帮 助 我 们 理 解 原 理 ， 快 速 定 位 问 题 。 【 H a d o o p 系 列 九 】 M R 架 构 详 解 本 文 主 要 介 绍 了 M a p R e d u c e 的 基 本 概 念 ， 运 行 时 的 流 程 原 理 、 如 何 进 行 作 业 开 发 和 配 置 以 及 M R 相 关 的 命 令 m a p r e d 。 最 后 介 绍 下 M R 对 外 提 供 R e s t A P I 的 能 力 。 【 H a d o o p 系 列 十 】 M R 核 心 源 码 分 析 本 文 主 要 介 绍 M a p R e d u c e 的 核 心 代 码 ， 按 照 W o r d C o u n t 编 码 实 现 流 程 ， 重 点 分 析 包 括 M a p p e r 、 R e d u c e r 、 I n p u t F o r m a t 、 O u t p u t F o r m a t 、 J o b 等 在 内 的 相 关 核 心 接 口 、 类 和 方 法 。 【 H a d o o p 系 列 十 一 】 Y A R N 架 构 详 解 本 文 主 要 介 绍 了 Y A R N 的 架 构 ， 核 心 组 件 ， 任 务 的 提 交 流 程 ， 调 度 器 ， 资 源 模 型 ， R M 的 重 启 策 略 和 H A ， N M 的 健 康 检 查 服 务 ， 节 点 标 签 ， T i m e l i n e S e r v e r ， 如 何 与 L i n u x C G r o u p s 集 成 ， Y A R N F e d e r a t i o n ， 命 令 行 和 R E S T A P I 等 内 容 。 【 H a d o o p 系 列 十 二 】 Y A R N 核 心 源 码 分 析 本 文 主 要 介 绍 H D F S 关 于 权 限 和 配 额 的 部 分 ， 权 限 部 分 包 括 ： 权 限 模 型 、 用 户 身 份 、 用 户 和 组 的 映 射 关 系 、 权 限 检 查 过 程 以 及 A C L 访 问 控 制 列 表 ； 命 名 部 分 包 括 ： 名 称 配 额 、 空 间 配 额 和 存 储 策 略 配 额 ， 以 及 相 关 管 理 员 命 令 。 大 数 据 基 础 【 大 数 据 技 术 】 学 习 之 概 念 篇 【 大 数 据 技 术 】 学 习 之 开 源 框 架 汇 总 【 大 数 据 技 术 】 之 学 习 路 线 D o c k e r 实 战 【 五 分 钟 】 掌 握 D o c k e r 部 署 S p r i n g B o o t 项 目 D o c k e r 是 一 个 开 源 的 应 用 容 器 引 擎 ， 开 发 者 可 以 打 包 自 己 的 应 用 及 依 赖 包 到 一 个 可 移 植 的 镜 像 中 ， 然 后 发 布 服 务 器 上 。 本 文 以 S p r i n g B o o t 为 例 ， 基 于 服 务 器 d o c k e r 命 令 和 本 地 I D E A 远 程 访 问 两 种 方 式 进 行 打 包 、 部 署 。 如 何 快 速 搭 建 D o c k e r 私 有 仓 库 我 们 知 道 M a v e n / N P M 能 够 对 依 赖 的 资 源 （ j a r / j s ） 进 行 管 理 ， 类 似 的 d o c k e r 也 需 要 对 镜 像 （ i m a g e ） 进 行 管 理 ， 同 样 分 为 私 有 仓 库 和 公 共 仓 库 。 d o c k e r 的 默 认 仓 库 是 d o c k e r h u b ( 公 共 仓 库 ) ， 而 私 有 仓 库 最 常 用 的 是 r e g i s t r y 、 h a r b o r 。 D o c k e r 如 何 做 集 群 管 理 最 近 在 规 划 公 司 数 据 平 台 上 层 应 用 微 服 务 的 d o c k e r 容 器 化 管 理 ， 现 有 包 括 n a c o s ， n g i n x ， 监 控 服 务 、 网 关 ， D o l p h i n S c h e d u l e r 以 及 应 用 服 务 在 内 的 3 0 + 服 务 ， 6 0 + 实 例 。 实 施 d o c k e r 容 器 化 之 前 ， 简 单 做 了 如 下 调 研 与 规 划 ： D o c k e r + J e n k i n s + V u e 项 目 ， 持 续 集 成 本 文 主 要 介 绍 ， 基 于 d o c k e r 部 署 j e n k i n s , 再 通 过 j e n k i n s 部 署 基 于 d o c k e r 的 v u e 项 目 ， 主 要 分 为 三 步 ： J a v a 进 阶 J D K 1 . 8 源 码 系 列 （ 一 ） 源 码 概 览 J D K 1 . 8 源 码 系 列 （ 二 ） 【 解 读 】 常 见 方 法 之 h a s h C o d e ( ) 和 e q u a l s ( ) J D K 1 . 8 源 码 系 列 （ 三 ） 类 加 载 原 理 和 类 加 载 器 J D K 1 . 8 源 码 系 列 （ 四 ） 反 射 机 制 J D K 1 . 8 源 码 系 列 （ 五 ） 动 态 代 理 J D K 1 . 8 源 码 系 列 （ 六 ） 注 解 的 原 理 与 自 定 义 J D K 1 . 8 源 码 系 列 （ 七 ） 集 合 之 H a s h M a p J D K 1 . 8 源 码 系 列 （ 八 ） 集 合 之 C o n c u r r e n t H a s h M a p J D K 1 . 8 源 码 系 列 （ 九 ） 集 合 之 L i n k e d B l o c k i n g Q u e u e J D K 1 . 8 源 码 系 列 （ 十 ） 异 常 处 理 J D K 1 . 8 源 码 系 列 （ 十 一 ） 并 发 编 程 之 基 础 篇 J D K 1 . 8 源 码 系 列 （ 十 二 ） 并 发 编 程 之 线 程 池 J D K 1 . 8 源 码 系 列 （ 十 三 ） 并 发 编 程 之 S y n c h r o n i z e d J D K 1 . 8 源 码 系 列 （ 十 四 ） 并 发 编 程 之 L o c k J D K 1 . 8 源 码 系 列 （ 十 五 ） 并 发 编 程 之 C o n d i t i o n J D K 1 . 8 源 码 系 列 （ 十 六 ） 并 发 编 程 之 T h r e a d L o c a l J D K 1 . 8 源 码 系 列 （ 十 七 ） 并 发 编 程 之 C o u n t D o w n L a t c h J D K 1 . 8 源 码 系 列 （ 十 八 ） 并 发 编 程 之 C a l l a b l e / F u t u r e / F u t u r e T a s k J D K 1 . 8 源 码 系 列 （ 十 九 ） N I O 简 介 日 常 总 结 线 上 问 题 排 查 ： 必 备 L i n u x 命 令 汇 总 服 务 器 C P U 使 用 率 1 0 0 % 如 何 快 速 定 位 服 务 器 出 现 大 量 T I M E _ W A I T ， 如 何 解 决 L i n u x 磁 盘 I O 使 用 率 过 高 如 何 排 查 线 上 服 务 J V M 问 题 ， 如 何 分 析 L i n u x 环 境 下 网 络 分 析 和 抓 包 C o p y r i g h t 「 走 近 源 码 」 ， 工 业 和 信 息 化 部 备 案 管 理 系 统 网 站 京 I C P 备 2 0 2 3 0 0 3 2 7 9 号 1

站点概括

关于domi.wiki说明：
domi.wiki由网友主动性提交被整理收录的，仅提供domi.wiki的基础信息并免费向大众网友展示，domi.wiki的是IP地址：- 地址：-，domi.wiki的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、domi.wiki的备案号是-、备案人叫-、被百度收录的关键词有0个、手机端关键词有0个、该站点迄今为止已经创建未知。

内容声明：

1、本站收录的内容来源于大数据收集，版权归原网站所有！
2、本站收录的内容若侵害到您的利益，请联系我们进行删除处理！
3、本站不接受违规信息，如您发现违规内容，请联系我们进行清除处理！
4、本文地址：https://www.xingzitai.com/apijkdh/d448b3b8eb8536c4ac7a.html，复制请保留版权链接！

---