光年的日志分析软件

数据采集与接入

光年支持多种日志来源的采集,包括：

• 文件日志：实时监控本地或远程服务器的日志文件（如Nginx、Apache、MySQL等）。
• 数据库日志：通过SQL查询或增量订阅方式采集（如MySQL Binlog、MongoDB Oplog）。
• 容器日志：兼容Docker、Kubernetes等容器标准输出。
• 网络日志：通过Syslog、HTTP Push或自定义协议接收实时日志流。

采集配置示例表：
| 日志类型 | 采集方式 | 支持格式 | 典型场景 |
|—————-|————————-|————————|——————————|
| 文件日志 | 文件尾追踪（Tail） | Plain Text、JSON | 服务器应用日志 |
| 数据库日志 | SQL订阅/Binlog解析 | JSON、CSV | 交易数据审计 |
| 容器日志 | 容器标准输出捕获 | JSON、Logfmt | 微服务架构日志 |
| 网络日志 | UDP/TCP Syslog接收 | RFC5424、自定义模板 | 分布式设备日志归集 |

实时处理与过滤

光年提供流式数据处理能力,支持：

1. 字段提取：从非结构化日志中提取关键字段（如IP、时间戳、状态码）。
2. 过滤规则：基于正则表达式、JSONPath或SQL条件筛选日志（例如过滤ERROR级别日志）。
3. 数据转换：支持字段重命名、类型转换、聚合计算（如每分钟错误数统计）。
4. 去重与合并：对重复日志进行合并或标记，减少存储压力。

处理性能：

• 单节点吞吐量：10万条/秒（日志长度<1KB）。
• 延迟：<100ms（从接收到存储）。

可视化分析与告警

分析功能

• 预置图表：折线图（趋势分析）、饼图（分类统计）、热力图（时间密度）。
• 自定义仪表盘：拖拽字段生成图表，支持多维度下钻（如按IP分组后查看TOP 5错误）。
• 全文检索：支持关键词、正则、模糊查询，结果高亮显示。
• 关联分析：自动发现日志中的关联事件（如登录失败后触发账户锁定）。

告警规则

权限管理与扩展性

• 角色权限：
  • 管理员：配置采集源、管理用户、查看全量日志。
  • 分析师：创建仪表盘、执行查询、导出数据。
  • 只读用户：仅查看特定仪表盘，无操作权限。
• 扩展能力：
  • 插件市场：支持Kafka连接器、Elasticsearch索引、Prometheus数据桥接。
  • API接口：提供RESTful API用于日志写入、查询和告警管理。
  • 存储适配：兼容MySQL、PostgreSQL、TimescaleDB等时序数据库。

常见问题与解答

问题1：如何配置数据库日志的增量采集？

解答：

1. 在“数据源管理”中选择“数据库日志”类型。
2. 填写数据库连接信息（如MySQL主机、用户名、密码）。
3. 选择增量方式：
   • Binlog解析：需开启MySQL Binlog功能，光年自动读取二进制日志。
   • 时间戳订阅：基于主键或时间字段增量拉取（适合无Binlog的数据库）。
4. 配置字段映射：将数据库表字段映射为日志的Key-Value结构。
5. 保存后,系统会自动从当前时间点开始采集新增日志。

问题2：告警规则如何对接第三方监控系统？

解答：

1. 在告警规则中选择“Webhook”作为通知渠道。
2. 填写第三方系统接口地址（如Prometheus Alertmanager、Zabbix、PagerDuty）。
3. 配置推送格式：
   • Prometheus：使用alertname、severity等标准字段。
   • 企业微信/钉钉：按官方文档填写Webhook URL，支持@指定用户。
4. 测试告警触发时,第三方系统能否正常接收并处理数据。
5. 可选开启“告警抑制”功能，避免短时间内重复推送相同