Zijie's Blog

网站标签

该站未曾设置keywords

---

网站描述

该站未曾设置description

---

上一篇：苏州乐仕崎科技有限公司

下一篇：求职应聘笔试面试一站式备考_历年真题_汇总题库_1V1辅导-桐果网

seo综合信息

SEO信息	百度来访IP：- | 移动端来访IP：- | 出站链接：0 | 站内链接：0
IP网速：	IP地址：- 地址：- | 网速：638毫秒
ALEXA排名	世界排名：- | 预估IP：- | 预估PV：-
备案信息	- | 名称：- | 已创建：未知

收录	百度	360	搜狗	谷歌
查询	0	0	0	0

电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
0	0	电脑端优秀	-	0	0

服务器信息 协议类型 - 页面类型 - 服务器类型 - 程序支持 - 连接标识 - 消息发送 - GZIP检测 - 源文件大小 - 压缩后大小 - 压缩率 -

网站快照

Z i j i e s B l o g Z i j i e s B l o g s 主 页 分 类 标 签 归 档 搜 索 目 录 站 点 N e x t S t a y S i m p l e . S t a y N e x T . 1 6 文 章 5 分 类 4 标 签 0 % T i t l e A c c u r a t e K V C a c h e Q u a n t i z a t i o n w i t h O u t l i e r T o k e n s T r a c i n g 浏 览 : 6 在 大 规 模 语 言 模 型 ( L L M ) 的 推 理 阶 段 ， “ A c c u r a t e K V C a c h e Q u a n t i z a t i o n w i t h O u t l i e r T o k e n s T r a c i n g ” （ O T T ） 提 出 一 种 “ 动 态 追 踪 并 剔 除 异 常 t o k e n + 2 b i t 层 次 量 化 + 多 缓 存 并 行 解 码 ” 的 轻 量 级 框 架 。 论 文 发 现 只 有 极 少 量 “ 异 常 t o 阅 读 更 多 » Q u a n t S p e c : S e l f S p e c u l a t i v e D e c o d i n g w i t h H i e r a r c h i c a l Q u a n t i z e d K V C a c h e 浏 览 : 3 在 长 上 下 文 L L M 推 理 中 ， Q u a n t S p e c 通 过 “ 层 次 化 I N T 4 / I N T 8 K V 缓 存 + 双 全 精 度 缓 冲 + 自 我 推 测 式 （ s e l f s p e c u l a t i v e ） 解 码 ” 三 板 斧 ， 把 K V 缓 存 这 个 内 存 与 带 宽 瓶 颈 直 接 量 化 进 速 度 。 核 心 思 路 是 ： ① 用 与 目 标 模 型 同 架 构 的 草 稿 模 型 ， 但 把 权 重 和 K V 缓 存 都 压 到 阅 读 更 多 » K V c a c h e 量 化 工 作 总 结 浏 览 : 7 P a p e r A d v a n t a g e s P r o b l e m s 阅 读 更 多 » N o M A D A t t e n t i o n : E f f i c i e n t L L M I n f e r e n c e o n C P U s T h r o u g h M u l t i p l y a d d f r e e A t t e n t i o n 浏 览 : 9 概 览 N o M A D A t t e n t i o n 通 过 * * “ 把 Q · K 乘 加 改 写 成 寄 存 器 查 表 ＋ 加 法 ” * * ， 用 C P U S I M D 寄 存 器 的 超 低 延 迟 随 机 s h u f f l e （ ≈ 1 – 2 c y c l e s ） 来 取 代 传 统 注 意 力 里 的 大 规 模 F M A 运 算 ， 从 而 在 1 6 k 上 下 文 长 度 下 可 为 4 b i t L L a M A 7 B 带 来 近 2 × 阅 读 更 多 » C P U 的 I N T 8 × I N T 8 → I N T 3 2 计 算 浏 览 : 0 在 G P U 里 你 熟 悉 的 I N T 8 × I N T 8 → I N T 3 2 “ 乘 加 + 累 加 ” 单 指 令 ， 其 实 在 近 几 代 主 流 C P U 上 也 早 已 存 在 ， 只 是 名 字 各 异 、 颗 粒 度 不 同 ： 有 的 还 是 传 统 S I M D 指 令 （ 1 2 8 / 2 5 6 / 5 1 2 b i t 向 量 ） ， 有 的 已 经 把 矩 阵 乘 法 整 合 进 片 上 “ T i l e ” 或 协 处 理 器 里 。 下 面 梳 理 几 条 主 流 路 阅 读 更 多 » I N T F l a s h A t t e n t i o n : E n a b l i n g F l a s h A t t e n t i o n f o r I N T 8 Q u a n t i z a t i o n 浏 览 : 2 在 进 一 步 钻 研 I N T F l a s h A t t e n t i o n 的 源 码 与 论 文 后 ， 可 以 把 整 套 设 计 拆 分 为 离 线 量 化 → 带 尺 度 因 子 的 数 据 流 → I N T 8 a w a r e O n l i n e S o f t m a x → 双 I N T 8 G E M M 融 合 内 核 四 个 互 相 咬 合 的 层 次 。 下 面 从 量 化 数 学 、 内 核 执 行 流 、 数 值 稳 定 性 、 硬 件 映 射 四 条 主 线 ， 阅 读 更 多 » D U A L G R A I N E D Q U A N T I Z A T I O N : E F F I C I E N T F I N E G R A I N E D Q U A N T I Z A T I O N F O R L L M 浏 览 : 1 概 览 （ 一 句 话 总 结 ） D u a l G r a i n e d Q u a n t i z a t i o n （ D G Q ） 把 「 组 内 I N T 4 细 粒 度 权 重 」 在 推 理 前 无 损 抬 升 到 「 I N T 8 通 道 尺 度 」 ， 再 搭 配 A 8 动 态 / 静 态 激 活 量 化 ， 实 现 W 4 × A 8 模 式 既 享 受 F i n e g r a i n e d 精 度 ， 又 保 留 I N T 8 G E M M 的 硬 件 效 率 ， 并 用 “ 阅 读 更 多 » Q S e r v e : W 4 A 8 K V 4 Q u a n t i z a t i o n a n d S y s t e m C o d e s i g n f o r E f f i c i e n t L L M S e r v i n g 浏 览 : 2 本 文 系 统 解 读 Q S e r v e : W 4 A 8 K V 4 Q u a n t i z a t i o n a n d S y s t e m C o d e s i g n f o r E f f i c i e n t L L M S e r v i n g ， 并 突 出 其 三 项 核 心 创 新 ： 1 ） 提 出 Q o Q 算 法 ， 在 保 持 推 理 精 度 几 乎 无 损 的 前 提 下 ， 将 权 重 、 激 活 与 K V c a c h e 分 别 量 化 到 4 b i 阅 读 更 多 » K V T u n e r : S e n s i t i v i t y A w a r e L a y e r W i s e M i x e d P r e c i s i o n K V C a c h e Q u a n t i z a t i o n 浏 览 : 3 在 全 面 阅 读 论 文 正 文 、 补 充 材 料 与 多 方 解 读 后 ， 以 下 内 容 对 K V T u n e r : S e n s i t i v i t y A w a r e L a y e r W i s e M i x e d P r e c i s i o n K V C a c h e Q u a n t i z a t i o n 的 设 计 思 想 、 实 现 流 程 与 实 验 效 果 作 深 入 解 析 ， 并 与 现 有 方 案 进 行 对 比 。 关 键 结 论 概 述 K V T u n e r 阅 读 更 多 » C o c k t a i l : C h u n k A d a p t i v e M i x e d P r e c i s i o n Q u a n t i z a t i o n f o r L o n g C o n t e x t L L M I n f e r e n c e 浏 览 : 1 1 总 览 C o c k t a i l 提 出 一 种 以 「 上 下 文 分 块 」 为 粒 度 的 自 适 应 混 合 精 度 量 化 框 架 ， 用 于 压 缩 长 上 下 文 推 理 中 的 K e y V a l u e 缓 存 。 方 法 先 依 据 查 询 – 上 下 文 块 相 似 度 为 每 块 分 配 不 同 位 宽 ， 再 通 过 重 排 与 定 制 计 算 核 提 升 显 存 利 用 率 和 吞 吐 率 。 与 统 一 位 宽 或 逐 t o k e n 搜 索 的 方 法 相 比 ， C o c k t a i l 在 多 款 模 型 阅 读 更 多 » 1 2 陕 I C P 备 2 0 2 5 0 7 2 6 2 7 号 陕 I C P 备 2 0 2 5 0 7 2 6 2 7 号 1 © 1 9 0 0 – 2 0 2 4 @ b i t 1 5 k 1 6 k 5 8 m i n s . P o w e r e d b y H a l o t h e m e N e x t H a l o T h e m e N e x T w o r k s b e s t w i t h J a v a S c r i p t e n a b l e d 0 % % } H a l o T h e m e N e x T w o r k s b e s t w i t h J a v a S c r i p t e n a b l e d

站点概括

关于zijie-tian.site说明：
zijie-tian.site由网友主动性提交被整理收录的，仅提供zijie-tian.site的基础信息并免费向大众网友展示，zijie-tian.site的是IP地址：- 地址：-，zijie-tian.site的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、zijie-tian.site的备案号是-、备案人叫-、被百度收录的关键词有0个、手机端关键词有0个、该站点迄今为止已经创建未知。

内容声明：

1、本站收录的内容来源于大数据收集，版权归原网站所有！
2、本站收录的内容若侵害到您的利益，请联系我们进行删除处理！
3、本站不接受违规信息，如您发现违规内容，请联系我们进行清除处理！
4、本文地址：https://www.xingzitai.com/xxzddh/a670492c1050ea1c4672.html，复制请保留版权链接！

---