受控语言
确定性短句,一句一个概念,一词只有一个含义。读完它们,你就有了这一章的全部词汇。
- 存储要同时满足三件事:写得进、查得快、存得起。
- 原始日志可先落成文本,再压缩存储以省空间。
- 让日志可搜索的关键是倒排索引:从“词”找到包含它的日志。
- 存储方式有四类:数据库、分布式存储、文件检索系统、云存储。
- 数据库擅长结构化数据,海量半结构化日志并不适合。
- 日志数据有天然温度:新日志热,旧日志冷。
- 冷热分层:热层用高速介质保查询,冷层用大容量介质保成本。
- 留存策略三个维度:时间(留多久)、空间(留多少)、位移(从哪开始)。
- 留存时长的下限由合规决定,上限由预算决定。
- 过期数据必须能自动滚动清理,否则存储终被撑爆。
- 实时搜索引擎让日志“写完就能查”,是日志平台的核心能力。
结构图
冷热分层:让每一字节都待在合适的层。图上的方块都可以点:点击查看它的职责。
交互式网页
概念自测:每题即点即判,答完看解析。目标:全对,或错得明白。
得分 0 / 4
Q1 倒排索引解决什么问题?
解析 正排是“日志→内容”,倒排是“词→日志列表”,搜索引擎查得快全靠它。
Q2 日志为什么适合冷热分层?
解析 日志查询集中在近期;分层让热点数据享受高速介质,冷数据下沉省成本。
Q3 留存策略不需要考虑哪个维度?
解析 留存三维是时间、空间、位移;“颜色”是干扰项。
Q4 海量日志存储为什么一般不用传统关系型数据库?
解析 关系库为结构化事务设计;日志写入吞吐巨大、检索以关键词与统计为主,搜索引擎型存储更合适。
定制视频
本章分镜脚本(时间 / 画面 / 解说词);成片在全书内容校准完成后统一制作。
| 时间 | 画面 | 解说词 |
|---|---|---|
| 0:00-0:12 | 三个天平图标依次亮:写得进、查得快、存得起 | 日志存储是一道三难题:写得进、查得快、存得起。解决方案只有两个字:分层。 |
| 0:12-0:35 | 倒排索引动画:单词 ERROR 发射光线连向一万条日志 | 查得快的秘密是倒排索引:不是翻日志找词,而是从词直接跳到日志。 |
| 0:35-1:00 | 三层冰箱:热层(SSD)急冻室、温层、冷层地下室 | 像整理冰箱:新日志放热层用 SSD,温层压缩存放,冷层沉入对象存储,成本一路下降。 |
| 1:00-1:20 | 三个旋钮:时间、空间、位移 | 留存策略拧三个旋钮:留多久、留多少、从哪开始。下限是合规,上限是预算。 |
| 1:20-1:40 | 过期日志如潮水自动退去,存储曲线保持平稳 | 到期数据自动滚动清理,存储曲线才能长期平稳。下一站:在存储之上做分析。 |