🗺 总览 ‹ 上一章 下一章 ›

流水线篇 · 第 6 章 / 共 18 章

日志存储

存得下、查得快、删得掉。

日志旅程 · 存储站 L1 × 11 句 自测 × 4 题 分镜 × 5 镜
⏳ 框架初稿:本章讲解先按目录与领域知识预写,正在按原书正文逐章校准;校准完成后此提示消失。
L1

受控语言

确定性短句,一句一个概念,一词只有一个含义。读完它们,你就有了这一章的全部词汇。

  1. 存储要同时满足三件事:写得进、查得快、存得起。
  2. 原始日志可先落成文本,再压缩存储以省空间。
  3. 让日志可搜索的关键是倒排索引:从“词”找到包含它的日志。
  4. 存储方式有四类:数据库、分布式存储、文件检索系统、云存储。
  5. 数据库擅长结构化数据,海量半结构化日志并不适合。
  6. 日志数据有天然温度:新日志热,旧日志冷。
  7. 冷热分层:热层用高速介质保查询,冷层用大容量介质保成本。
  8. 留存策略三个维度:时间(留多久)、空间(留多少)、位移(从哪开始)。
  9. 留存时长的下限由合规决定,上限由预算决定。
  10. 过期数据必须能自动滚动清理,否则存储终被撑爆。
  11. 实时搜索引擎让日志“写完就能查”,是日志平台的核心能力。
L2

结构图

冷热分层:让每一字节都待在合适的层。图上的方块都可以点:点击查看它的职责。

热层 最近数据,SSD 高速盘,秒级检索,供实时分析。… 温层 近期但不再高频访问,压缩存放,偶发查询。… 冷层 合规留存为主,对象存储/归档介质,成本极低。… 留存策略 时间、空间、位移三维设定,到期自动滚动清理。…
👆 点击图中任意方块,这里会显示它的说明。
L3

交互式网页

概念自测:每题即点即判,答完看解析。目标:全对,或错得明白。

得分 0 / 4

Q1 倒排索引解决什么问题?

解析 正排是“日志→内容”,倒排是“词→日志列表”,搜索引擎查得快全靠它。

Q2 日志为什么适合冷热分层?

解析 日志查询集中在近期;分层让热点数据享受高速介质,冷数据下沉省成本。

Q3 留存策略不需要考虑哪个维度?

解析 留存三维是时间、空间、位移;“颜色”是干扰项。

Q4 海量日志存储为什么一般不用传统关系型数据库?

解析 关系库为结构化事务设计;日志写入吞吐巨大、检索以关键词与统计为主,搜索引擎型存储更合适。

L4

定制视频

本章分镜脚本(时间 / 画面 / 解说词);成片在全书内容校准完成后统一制作。

时间画面解说词
0:00-0:12三个天平图标依次亮:写得进、查得快、存得起日志存储是一道三难题:写得进、查得快、存得起。解决方案只有两个字:分层。
0:12-0:35倒排索引动画:单词 ERROR 发射光线连向一万条日志查得快的秘密是倒排索引:不是翻日志找词,而是从词直接跳到日志。
0:35-1:00三层冰箱:热层(SSD)急冻室、温层、冷层地下室像整理冰箱:新日志放热层用 SSD,温层压缩存放,冷层沉入对象存储,成本一路下降。
1:00-1:20三个旋钮:时间、空间、位移留存策略拧三个旋钮:留多久、留多少、从哪开始。下限是合规,上限是预算。
1:20-1:40过期日志如潮水自动退去,存储曲线保持平稳到期数据自动滚动清理,存储曲线才能长期平稳。下一站:在存储之上做分析。