🗺 总览 ‹ 上一章 下一章 ›

流水线篇 · 第 4 章 / 共 18 章

日志采集

万事开头难:把日志可靠地收进来。

日志旅程 · 采集站 L1 × 12 句 自测 × 4 题 分镜 × 6 镜
⏳ 框架初稿:本章讲解先按目录与领域知识预写,正在按原书正文逐章校准;校准完成后此提示消失。
L1

受控语言

确定性短句,一句一个概念,一词只有一个含义。读完它们,你就有了这一章的全部词汇。

  1. 采集是流水线第一步:把日志从产生地搬运到平台。
  2. Agent 采集:在源机器上安装程序,实时读取日志文件并转发。
  3. Agent 必须支持断点续传:重启后从上次位置继续,不丢不重。
  4. Syslog 是网络设备的标准日志通道,常走 UDP 或 TCP 的 514 端口。
  5. 抓包采集旁路监听网络流量,无需改动设备本身。
  6. 接口采集通过 API 从云服务和 SaaS 拉取日志。
  7. 业务埋点在代码中主动输出业务事件。
  8. 容器日志生命周期短、易丢失,需要专门的采集方式。
  9. 难点一:大量小文件让采集器反复开关文件,资源消耗大。
  10. 难点二:日志轮转按大小或时间切割文件,采集器必须正确跟随。
  11. 难点三:高并发洪峰需要缓冲队列削峰,保护后端。
  12. 采集的目标八个字:不丢、不重、及时、低耗。
L2

结构图

六路汇流:多源采集进入统一管道。图上的方块都可以点:点击查看它的职责。

文件Agent Syslog设备 抓包旁路 API云服务 业务埋点 容器日志 采集器队列 日志平台
👆 点击图中任意方块,这里会显示它的说明。
L3

交互式网页

概念自测:每题即点即判,答完看解析。目标:全对,或错得明白。

得分 0 / 4

Q1 Agent 采集中“断点续传”解决什么问题?

解析 断点续传记录每个文件的读取位置,重启后接着读,避免漏读或重复。

Q2 网络设备最常用的日志输出通道是?

解析 Syslog 是网络设备的标准日志协议,通常发往 UDP/TCP 514。

Q3 “大量小文件”场景的主要麻烦是?

解析 小文件多意味着扫描、打开、关闭的开销被放大,采集效率骤降。

Q4 日志洪峰时保护后端的常见手段是?

解析 缓冲队列把突发流量先攒下来,再匀速投递给下游,避免压垮解析与存储。

L4

定制视频

本章分镜脚本(时间 / 画面 / 解说词);成片在全书内容校准完成后统一制作。

时间画面解说词
0:00-0:12六条小溪从山头流向同一条河日志散落在机房与云端各个角落。采集,就是把千百条小溪汇成一条河。
0:12-0:35六种采集方式图标依次点亮:Agent/Syslog/抓包/API/埋点/容器文件用 Agent 实时 tail;设备走 Syslog;网络旁路抓包;云端用 API 拉;业务事件靠埋点;容器有专属通道。
0:35-0:55进度条被打断又接续,标注“断点续传”Agent 的底线是不丢不重:记录每个文件的读取位置,重启之后接着读。
0:55-1:15三只拦路虎:小文件山、轮转传送带、洪峰海啸三大难点:海量小文件耗资源,日志轮转要跟得住,流量洪峰要削得平。
1:15-1:35蓄水池削峰动画:洪峰进、匀速出缓冲队列像蓄水池:洪峰先蓄住,再匀速放行,保护下游。
1:35-1:50标题卡:不丢、不重、及时、低耗八个字,是采集的全部KPI。下一站:把收进来的文本变成数据。