logkit

Very powerful server agent for collecting & sending logs & metrics with an easy-to-use web console.

APACHE-2.0 License

Stars
1.3K
Committers
55
logkit - v1.4.0

Published by wonderflow almost 7 years ago

Features

  • 增加了metric runner,现在你可以在网页端配置metric runner,并直接发送到pandora TSDB 监控机器的各类资源
  • 增加了集群版功能,现在你可以直接通过配置master,查看整个集群的情况,包括整个前端的集群版展示,还可以通过master操控整个集群的runner。
  • 增加了一些额外信息,包括IP、hostname、操作系统、内核,平台等
  • 增加了部署到k8s上的功能,并增加了一个专门为logkit on k8s设计的获取pod、namespace等信息的Transformer
  • 大量前端的改动,欢迎体验

Bugfixes

  • 修复了添加DataSource tag只能加一条的问题
  • 修复了增加额外信息带来的性能问题
logkit - v1.3.6

Published by wonderflow almost 7 years ago

Features

  • 增加了Socket reader,现在你可以针对 tcp\udp\unix socket协议进行端口监听,将监听到的数据作为logkit的数据源。
  • 增加了syslog Parser,现在你可以直接解析符合rfc标准的syslog格式的数据
  • 增加了kafka sender,现在你可以将logkit收集的数据发送到kafka,感谢 @hongdanyang1991
  • 增加了 urlparam transformer,现在你可以直接使用这个Transformer转换url的参数数据
  • 增加了 array expand transformer,现在你可以通过该Transformer对数组的数据进行展开
  • es sender增加了可以按照周期自动创建索引的选项
  • pandora sender将导出到logdb string的默认分词改为全文索引
  • 使用pandora sender时自动添加发送时间
  • 增加了logkit on Kubernetes的部署文件

Bugfixes

  • 修复了es sender中可能存在的数据重复的bug
  • 修复了创建kodo导出标志位用了logdb的错误
  • 对metric runner进行了一系列修复
  • 修复了发送统计的不准确的问题
logkit - v1.3.5

Published by wonderflow almost 7 years ago

Features

  • kafka reader 中增加zookeeper 的timeout选项
  • 增加了runner的停止和运行的功能
  • 去掉了logkit fault torrent选项,现在默认会开启容错,并且存储在meta文件夹下
  • runner 的 status状态保存到了meta中,现在重启runner status不会清零

Bugfixes

  • 修复了status记录时有概率触发的map并发读写的panic问题
  • 修复了采集日志时文件夹不存在不报错但是无法创建成功的问题(web接口创建会报错,老的模式不变)
  • 修复了pandora sender发送重试导致的发送错误也记录在发送错误的Status中的问题
logkit - v1.3.4

Published by wonderflow about 7 years ago

Features

  1. logkit 现在有了一个可爱的LOGO
  2. 增加了自动导出到七牛云存储的功能
  3. 在Mongo和SQL reader的 loop模式中增加了loop模式等待的时间,语法类似为 loop <time duration> time duration 字符串类似于 "1m", ”3s“,"2h"

Bugfixes

  1. 修复了logkit自动删除自身日志文件在跨年的时候可能会删除错误的问题
  2. 修复了grok 表达式中含有空格会导致无效的问题,现在你写grok 表达式冒号两边可以有空格。
  3. 修复了grok表达式 自定义Pattern 传入单个值可能会panic的问题
  4. 修复kafka reader close方法没有调用consumer close的bug,会导致多个runner无法同时读取
logkit - v1.3.3

Published by wonderflow about 7 years ago

Features

  • 增加了忽略不符合格式的数据选项,默认开启,关闭可以节省CPU开销
  • 增强了数据校验功能
  • 增加了是否自动转换时间的选项,默认开启,关闭可以节省CPU开销
  • 所有数据源都加上了DataSourceTag标签
  • 增加split Transformer
  • 增加convert Transformer
  • mongo reader 和 sql reader增加了一种loop模式,可以循环调用

Bugfixes

  • 修复repo存在时Export不存在导致更新失败的问题
  • 修复version编号在agent中显示不完整问题
logkit - v1.3.2

Published by wonderflow about 7 years ago

Features

  1. 增加transformer的功能支持, 可以自定义的针对字段做转化操作
  2. 原配置文件的修改方式改为按添加步骤进行修改
  3. 增加页脚的帮助链接
  4. logkit 加上runner创建时间,并在页面显示
  5. 增加了针对时间字段解析和变换的Transformer,用来处理用户时间字段相关问题
  6. 增加了丢弃某个字段的Transformer
  7. logkit发送的请求增加了user_agent header,便于统计
  8. 增加了数据中植入来源IP的功能
  9. 增加了数据强制类型转换的功能,解决弱类型的问题,开启此功能后,一个指定为string类型的数据,实际为long的情况下,会被转换类型,反之亦然,转换错误则跟原来一样处理。

Bugfixes

  1. 数据第一次发送前没有meta文件不再报错
  2. schemafree 创建repo失败会显示报错,而不是显示没有repo 404
  3. 对于解析失败的数据,展示部分原始数据方便排查错误原因
  4. 修复了允许Runner name为空的情况
  5. 修复了repo在界面上被删除,logkit选择了schemafree但不会重新创建的问题
  6. 修复了pandora sender array类型在某些情况下类型推导错误无法打点的问题
logkit - v1.3.1

Published by wonderflow about 7 years ago

Features

  1. 增加了reader相关的数据信息以及错误
  2. web页面用户体验改善,现在你填写配置更方便
  3. 增加了修改runner配置的功能,现在你可以通过修改配置文件,而不是删除再重建的方式修改。
  4. 增加了重置logkit功能,现在你可以在页面通过重置删除meta信息,不需要手动删除
  5. 在web页面增加了版本号

Bugfixes

  1. 修复了web页面前后端交互的错误
  2. 修复了速率显示的错误
  3. 修复了repo允许下划线开头,而logdb不允许下划线开头的错误
logkit - v1.3.0

Published by wonderflow about 7 years ago

Features

  • logkit web页面大改版,修改了实现技术,增加了大量体验优化
  • logkit web 页面增加了简单字段校验
  • 增加页面stats信息,现在你可以在web页面看到发送/解析成功了多少数据,同时显示错误信息
  • 大大提升打点性能,整体节省50% 以上 cpu消耗

Bugfixes

  • 修复memory queue重启丢数据问题
  • fault_tolerant 策略下强制需要填磁盘保存位置
  • 更新了pandora-go-sdk,修复了相关bug,包括性能提升、鉴权错误描述
logkit - v1.2.4

Published by wonderflow about 7 years ago

Features

  • 增加 transformer模块,第一个transformer是ip变化
  • 增加transformer:字符串替换
  • 增加rest api文档
  • 增加jsonstring的相关支持

Bugfixes

  • 修复没有配置文件 confs 会导致crash的问题
  • 修复logkit的一些并发问题,增加race测试
  • 修复 rateio 关闭时会导致卡住的bug
  • 修复mysql reader 读取[]byte转string时json会自动base64的bug_
logkit - v1.2.3

Published by wonderflow about 7 years ago

Bugfixes

  1. 修复mysql reader在没有Offset的情况下重复读取

Features

  1. 增加页面配置logkit的功能
logkit - v1.2.2

Published by wonderflow about 7 years ago

Features

  1. 增加logkit profile功能,现在可以在主配置文件填写profile的host地址以开启golang的profile
  2. 增加memory channel,现在可以通过内存channel作为ft_sender加速发送
  3. 增加Nginx Parser手写正则表达式的功能
  4. csv Parser增加date类型的解析,与grok的方式保持一致

Bugfixes

  1. logdb 导出自动创建的repo改为小写,防止大写创建失败
  2. 修复 mutireader的性能问题,以及会被block的bug
  3. 修复 mssql查询出错、重复的问题
logkit - v1.2.1

Published by wonderflow over 7 years ago

Features

  1. 支持es 5.x数据源
  2. 增加forceMillisecond参数,方便Pandora TSDB适配数据的抖动
  3. 增加redis 数据源
  4. 增加sql reader的 schema定义,可以指定字段类型
  5. 增加nginx解析器,专门针对nginx配置进行解析

Bugfixes

  1. 修复ft sender在数据过长的情况下会导致串行的bug
  2. 增加了一些错误日志打印和输出
logkit - v1.1.0 Release

Published by wonderflow over 7 years ago

Features

  1. 大大提高了稳定性,首次发布release版本,启动日志增加了版本号v1.1.0
  2. 增加了logkit自动导数据到logdb的功能,现在用户只要部署好logkit,就能直接在pandora查询日志

Bugfixes

  1. 修复了logkit schemafree时,uint错误转换为string的bug
  2. 修复了监控的错误
  3. 修复了在错误的空数据情况下使用pandora sender会导致panic的问题
  4. 修复了嵌套类型在checkmap的过程中会错误的删除数据
  5. 修复了pandora发送鉴权错误不显示错误日志的问题
logkit - v1.0-beta Release

Published by wonderflow over 7 years ago

Features

  1. logkit兼容windows
  2. logkit增加系统信息收集功能
  3. 增加file reader磁盘限速
  4. 支持pandora schema free写点功能,开启了这个功能,你不再需要配置pandora 的数据源,logkit会自动更新pandora schema,做出类型判断,添加新的字段
  5. 统一logkit的日志输出,现在整个链路的日志输出都会带上Runner[Name]字样,方便定位问题
  6. 在confs文件夹增加各种reader的配置文件

Bugfixes

  1. 修复了utils下获取文件inode不支持windows的问题,windows下使用handle info的信息处理
  2. 修复了收集sql server数据查询语句出错问题
  3. 遇到stale NFS handle问题重新打开文件
  4. 在runner遇到读取错误时会sleep 1s,不再疯狂输出日志
logkit - v1.0-alpha

Published by wonderflow over 7 years ago

开源后第一个release candidate,包含一系列功能的更新。

  1. 增加了一个wiki页面:https://github.com/qiniu/logkit/wiki ;从此,你可以在wiki页面看到详细而清晰的文档
  2. 支持tailx模式多路径日志读取
  3. 支持Kafka Reader
  4. 监控功能支持IP端口绑定
  5. grok parser支持时区偏移
  6. pandora sender支持gzip发送数据,支持流量限制
  7. reader支持多行读取作为日志记录

修复的问题:

  1. 修复了 qiniulog parser存在很小概率重启丢数据的问题
  2. 修复了没有开启clean self的情况下logkit无法关闭的问题