1. 机器监控默认收集进程信息
2. 修复syslog 解析的统计问题
3. mysql 读取支持timestamp时间戳作为增量读取
4. tailx支持定时读取功能
5. xml 转换支持去掉attribute元素信息
6. 默认发送到pandora的嵌套类型改为jsonstring
7. 增加秘钥属性，输入密码时前端显示 * 号

v1.2.5

1. 在reader中增加 encode字段，记录读取数据的编码方式
2. 增加concat Transformer，可以拼接字段
3. keyvalue 解析方式支持保留原始字段功能
4. 支持读取 gz、zip、tar 后缀的文件，请使用fileauto、tailx或dirx读取。
5. tailx和dirx模式支持expire后自动删除文件
6. csv的解析方式支持同时定义多个key，用竖线分隔。
7. 修复dirx中可能存在的无法关闭导致线程泄露的问题
8. 修复windows环境中采集机器监控信息可能存在的panic问题
9. 修复mysql 读取时没有填sql语句但是填了offset导致panic的问题

1. add copy transform
2. add timestamp transform
3. make cpu collection compatible with windows 2003/2008
4. pandora sender get schema不报错修复
5. script reader支持填写参数/内容
6. no data recieved修改
7. 尝试发送失败页面显示成功修复
8. add linux audit parser
9. 修改es读取根据不同时间渲染的方式，改为类似mysql的魔法变量模式

1. 修复mongo 使用cron读取存在的panic问题
2. 文件监听fsnotify依赖库修改
3. 优化无读取时logkit的CPU基础负载到0.5%以内，默认情况下不再开启磁盘限流
4. 在date格式中逗号(,)自动替换成句号(.)
5. csv parser在分割后自动去除数据前后多余的空格
6. 在kafka中增加 maxprocessing选项，可用于调优从kafka中读取数据的超时时间
7. 增加url convert transformer，可以对url编解码(decode和encode )
8. xml transformer转换增加选项，解析后字段可以设置为全string，同时可以将字段展开到对外层。
9. 修复es reader打开句柄泄露的问题
10. sender中允许指定并发数量
11. 增加了发送成功后同步meta文件的频率控制，负数为结束时同步，0和1为每次同步，大于1则是表示发送成功多少次后同步
12. 修复kafka reader lag统计错误
13. 修复kafka commit Offset的bug
14. 允许发送原始字符串到下游，目前只有kafka sender支持，大大加快发送速度，优化性能
15. 发送到es的时间字段从 sendTime 改为 _time
16. 内存队列支持 []string这样的结构，原来只支持 []Data
17. 增加tracker对象，开启debug日志后可以看到各个阶段消耗的时间
18. 修复errorlist打印多余错误日志的问题
19. postgres支持根据时间搜索，同时在内存中去重
20. 增加runner的audit文件，可以审计发送的数据量。
21. confs监听目录中的runner可以启动停止
22. 增加docker 监控收集
23. 修复tailx和dirx指定读取文件的编码方式不生效的问题
24. 在filter transformer中增加正选功能
25. 去除了pandora发送中导出到tsdb的选项
26. 将es reader中的type选项设置为高级选项，可以默认不填
27. 修复 http 和 socket 类型采集器启动时，端口冲突的问题
28. 修复 pinpoint 和 skywalking 采集器的默认端口显示问题

1. 发送到pandora增加请求超时时间设置，可以不超时，解决因为超时导致数据重复的问题
2. 用go的runtime.MAXPROCS 替代sender的并发数设置，去掉了 ft_procs 选项
3. 修复了读取测试数据在10行以内时拿不到数据的问题
4. 修复了发送到kafka实际没有错误但是报错的问题
5. 修复了部分时间类型由于使用了time.Time而不是RFC3339导致的发送失败问题
6. 修复了在32位机器上写数据到本地文件会导致程序奔溃的问题

1. 新增发送到mysql
2. 新增mysql数据的文件导出功能
3. 新增csv格式的文件打印功能
4. 修复dir模式lag统计没有过滤掉不符合模式的文件的问题
5. useragent Transformer支持多核
6. 修复xml解析可能导致进程出错的问题

通知

我们正式发布了logkit-pro(专业版)，除包含开源logkit全部功能外，我们还增加了更多数据源、解析、转换和发送、集群管理等功能，欢迎试用体验！

Features

1. socket reader中增加来源ip #675
2. http reader support multiple prefix #678
3. queue: able to set max disk used bytes for diskQueue #706
4. reader/{tailx,dirx}: clean expired submeta after sync #688
5. influxdb host 没有 http 协议头时自动添加 #714
6. 增加 influxdb 忽略超出 retention 数据的选项 #716
7. make qiniu log parser more flexiable #715
8. 增加nginx parser函数直接获取log格式的正则表达式 #718 #717 #720
9. 增加Mssql和Postgres schema选项 (#713)
10. 导出到kodo的分片策略时，设置时间和大小值 #725
11. 对于DataReader，不需要Parser，默认全部成功 #726
12. csv,grok,json,ngnix parser添加多线程 (#709)
13. add socket reader json format #728
14. pandora sender中自动创建的workflow和repo添加描述信息 #733
15. add logfmt parser #731
16. ip transformer修改 ，支持服务端解析IP #730
17. 增加选项：磁盘使用总大小限制和写入磁盘的单条数据大小限制 #738

Bugfixes

1. 修复 autofile模式下如果文件夹内文件的最后修改时间不超过tailx expire时间，读取不到数据的问题 #687
2. socket reader支持按行分割 #692
3. 修复cloudtrail aws s3 同步文件时关不掉的问题 #696
4. 修复了Windows下带有 C:/ 冒号时meta文件夹无法创建的问题 #697 感谢 @xxh2000
5. 修复了cloudtrail aws s3 同步文件时meta记录不及时的问题 #698
6. 修复了错误的config配置会使得agent panic的问题 #700
7. 修复transformer不识别Data类型只识别map[string]interface的问题 (#681)
8. reader: fix close of closed channel panic in very rare cases #683
9. 修复Socket reader slice指针引用产生的数据截断 #686
10. close on sendData，修复发送后不关闭导致goroutine泄露的问题 #710
11. sql reader在构建数据库表名时根据具体的数据库类型构建 (#704) 感谢 @xxh2000
12. 修复 k8stag Transformer参数不准确的问题 #711

通知

七牛智能日志管理平台已正式对外开放，欢迎七牛用户申请试用！

同时我们正式发布了logkit-pro，除包含开源的社区版logkit全部功能外，我们还增加了更多数据源、解析、转换和发送，欢迎试用体验！

Features

1. http sender增加一种整个body变为json格式发送的选项（区别于现在整个body是多行，每个行单独是json） #607
2. pandora sender内置 pandora_key_convert，自动转换不符合格式的key，同时对这个转换做了性能优化 #611 #621 #626
3. 增加了dirx模式的文件读取方式，该功能类似tailx，可以以通配符的形式读取不同业务的文件夹数据 #613
4. mapreplace中增加了一个“new”选项，可以保留原来的数据 #616 
5. 对ip transformer使用的IP库进行统一管理，使得多个runner或者多个transformer配置了相同地址的ip库使用同一份，节省了大量内存 #619
6. 将尝试获取数据的接口统一为读1分钟才超时，而不是原来的尝试读取3次就返回 #620
7. 对urlparam transformer不光读取request的参数，还会读取 path和host #623
8. 对urlparam transformer支持select_keys选项，允许只选择部分请求参数，防止请求参数过多导致的字段暴增(超过500个字段无法发送到Pandora) #628
9. file sender支持选项(file_send_timestamp_key)按数据中的时间来发送到指定文件 #634
10. reader、parser、transformer、sender、Metric界面根据sortkey稳定排序 #659
11. 当 date transformer 遇到没有时区信息的时间字符串时默认为本地时间（一般情况下，为 CST） #662
12. 大量重构、优化 #647 #648 #649 #650 #655 #656 #657 #658 #670

Bugfixes

1. 修复上个版本引入 mssql和postgres连接时sql报错的问题 #606
2. 修复含有容错功能的sender在一个runner中发送到多个sender时仍然会导致除第一个sender以为其他sender发不出数据的问题 #609
3. 将mysql读取原来的共用连接改为每个请求都独立创建一个连接，避免unexpected EOF连接错误 #624
4. sql reader保证每次读取完一张表都会存到meta中，同时修复sql reader同步数据库和表时存meta的错误 #625 #627
5. 修复export到logdb检查时omitEmpty和omitInvalid为nil导致出错的情况  #629
6. 修复script transformer在没有脚本文件(路径填错)时可能panic的问题  #630
7. 修复 urlparam transformer 转换某一条数据出错就导致整批数据都不转换的问题，现在一条出错其他可以继续转换  #637
8. 修复syslog 出错时没有返回错误数据并导致pandora_stash记录的数据不准确的问题 #642
9. Ip transformer 增加.mmdb IP库格式支持  #653
10. 新增获取 read parse transform send 历史错误信息，默人历史错误条数最大为100条  #610
11. 修复编辑收集器的时候，extra_info 选择了false时选项变为没选中的状态 #666 

通知

七牛智能日志管理平台已正式对外开放，欢迎七牛用户申请试用！

同时我们正式发布了logkit-pro，除包含开源的社区版logkit全部功能外，我们还增加了更多数据源、解析、转换和发送，欢迎试用体验！

Features

1. 增加了pick Transformer：可以只选择某些字段，其他字段舍弃，与discard Transformer相对。
2. pandora sender增加导出到kodo的rotate 大小/时间的选择。
3. mysql reader在读取时，保证 cron或者loop时 会读取上次执行到当前执行所有匹配的数据
4. 增加了Pandora sender raw 模式，可以直接在 _raw字段中放bytes发送
5. 对于单条数据超过2MB的数据，也会split再放到pandora_stash中，防止超过2MB的数据死循环。
6. Transformer中的error也会在前端界面上显示了
7. 将pandora sender默认导出到kodo的保存时间从30天改为了永久存储

Bugfixes

1. 修复部分reader(mongo,sql,kafka,redis,es)定时任务会和正在执行的任务争取锁导致死锁的问题
2. 修复了dataflow中尝试读取一行数据没有close reader的问题
3. 修复了mongo读取可能会panic的问题
4. 修复管道型reader(mongo,sql,kafka,redis,es，snmp)读取时错误信息不显示的问题（https://github.com/qiniu/logkit/pull/560）
5. 修复schema_free打点时使用token会打点失败的错误
6. 修复了某些类型在使用convert Transformer会转换失败的错误
7. 修复了发送到kafka错误信息不显示的问题
8. 修复了http sender中字段前端配置错误，感谢 @xxh2000
9. 修改runner的close逻辑，先close reader，再stop Run，这样可以不阻塞reader
10. 修复了mysql 编码方式的Option字符集不正确的问题 #577
11. 修复sender没有实现senderError类型时可能导致的panic问题
12. 修复Socket reader可能存在的panic问题
13. 修复mysql reader中sql.done meta为空时可能导致数据不读取的bug
14. 修复了一个runner配置多个sender可能导致第二个以后的sender发不出数据的bug

logkit_centos_v1.5.1.tar.gz
logkit_windows_v1.5.1.zip
logkit_windows32_v1.5.1.zip
logkit_mac_v1.5.1.tar.gz
logkit_v1.5.1.tar.gz
logkit_linux32_v1.5.1.tar.gz

Features

1. 完成reader、sender、parser拆包，代码重构
2. 增加了数字转换为IP的Transformer ，将以十进制数字存的IP，以8位二进制的方式每八位拆分，构成一个IP字符串。
3. 支持外部plugin功能
4. 对应网络的metric数据支持直接计算每秒平均值
5. ip Transformer支持datx格式
6. 增加了kodo导出时选择json、csv格式时的压缩选项
7. 增加了kodo导出时选择导出的分片模式
8. 增加了mapreplace Transformer，可以根据一个json的文件，按map形式key，value的替换字段内容
9. 增加了导出mysql历史库的功能，现在你可以通过前缀、日期魔法变量、结尾通配等多种方式全量导出mysql的历史数据
10. syslog parser增加了默认行数限制，防止错误数据情况下内存泄露。
11. 优化了pandora-go-sdk写点时的格式化性能，性能提升10%以上
12. 优化了logkit发送时选择 concurrent时的性能，性能提升在50%以上
13. 优化了mysql读取的场景，不再需要通过解析，性能提升在30%以上
14. 为mysql读取历史库数据增加了lag显示，可以看到剩余多少数据没有读取
15. 前端增加了"runner另存为" 功能， 类似配置不再需要重复配置
16. tailx模式支持cleaner

Bugfixes

1. 修复读取文件时，在极小概率下某个文件刚准备读但是被删除后产生的死循环问题
2. 修复mysql中表为纯数字时读取失败的问题
3. 修复Socket reader无法close的问题（会一直占用端口）
4. 修复多个reader write on closed channer导致的panic问题
5. 修复kafka reader不输出错误日志的问题，更新了kafka的client库，解决了部分服务端不读取数据的问题
6. 修复了ip Transformer传输不正确的文件可以带来的panic问题
7. 修复了tailx模式可能存在的panic风险
8. 修复了某种情况下文件读取的lag为负数的问题

Bugfixes

1. 修复了reader中dir模式下读取文件时间长了以后就暂停的问题，原因是inode判断没有加上文件名，请用户第一时间从v1.4.8升级到v1.4.9
2. 修复了cloudtrail reader中metastore不断append全部数据的问题
3. 修复了不同runner中，相同的cloudtrail reader中dir和metastore会相同的bug
4. 修复了windows下CPU显示的可能不准确的问题

Features

1. cloudtrail reader支持reset功能
2. cloudtrail reader支持zip文件
3. 在schemafree过程中加上了日志，可以看到调用pandora的接口哪一步报错
4. 避免了不必要的repo更新，减少了pandora schema free接口去更新repo的频率
5. 支持了windows的metric监控
6. 为useragent Transformer增加了选项，可以选择部分功能，大大增加了性能
7. 为convert Transformer 增加了default值功能
8. 为mysql reader读取中文字段时增加了编码选择，解决了默认utf时可能存在乱码的问题
9. pandora sender支持配置logdb字段的分词
10. 增加了mysql reader 自动读取数据库表的能力
11. 为mysql reader的Database增加了魔法变量支持
12. 去掉了读取数据时过大会忽略数据的条件，现在仅交给sender判断
13. 前端增加了batch_size选择
14. 前端增加了cleaner的配置
15. 为script Transformer增加参数功能，现在把field的值作为参数传入，可支持传多个field的值

Bugfixes

1. 修复了key只存在数字时 pandora_convert transformer无效的问题
2. 修复Cloudwatch metric读取时只填写dimension无法读取的问题
3. 修复了解析时会去除不应该去除的多余空格问题
4. 修复了文件为软连接时，cleaner删除数据时出错的问题
5. 修复了文件不存在时 reader一直在等待读取文件导致死锁的问题
6. 修复了sender的错误在前端不显示的问题
7. 修复了cloudtrail reader在bucket不存在时报错为301 response missing Location header无法理解的问题
8. 修复了当前读取的文件被删除导致lag size为负数的问题
9. 修复了pandora sender中 map类型实际为string不能转换的问题，现在会构造一个map将值传进去
10. 修复了kafka sender中的空指针问题， 感谢 @xxh2000
11. 修复了前端在获得runner状态时接口pending还不断轮询的问题
12. 修复了文件reader中dir模式下，DataSource数据不准确的问题
13. 前端修复了extra_info选项修改为false后还是默认为true的问题
14. 前端修复了折叠的依赖项修改时不赋值的问题

Features

1. 后端的reader/parser/transformer/sender的配置项增加了tooltip的描述
2. logkit默认导出到pandora创建的日志分析仓库使用全文索引
3. 增加了Cloudwatch Reader
4. pandora_sender增加了number_as_float选项，开启后会将所有数字都识别为float类型
5. 增加了cloudtrail reader
6. reader改为注册模式(reader registry)
7. 增加了csv模式下可以schema和数据不匹配的情况
8. pandora sender支持https发送端insecure的情况
9. urlparm transformer支持带path，并解析出path

Bugfixes

1. 修复了前端 extra_info 会带双引号导致runner无法创建的bug
2. 修复了transformer的错误不在stats接口中展示的问题
3. 修复了grok不过滤空值导致空值覆盖实际值的问题
4. 修复了在某些异常情况下读取数据性能降低，CPU消耗增大的问题
5. 修复了某些情况下数据中带有空值会panic的问题。
6. 修复了空值情况下 json和xml parser/transformer报错的情况

Features

1. 增加xml Transformer，直接解析xml数据
2. grok Pattern 支持带有中文字符的情况去解析。
3. 当schema free关闭时，仍然会创建pandora_stash，解决关闭了schema_free 发送时报pandora_stash字段不存在的问题。
4. 增加了一个grok Pattern，支持读取换行符 GREEDYDATALINEFEED
5. 全局增加extra_info 参数，支持runner中带上hostname、ip、system、version
6. 增加了file sender中的path可以填写模板变量的能力，现在file sender可以根据日期归档文件。

Bugfixes

1. 修复url param，使用标准化url解析代替根据&切割。
2. 修复一些Transformer使用原来的key可能导致的字段类型冲突问题，现在类型不同的Transform不允许使用原来的字段。
3. 修复kafka reader在kafka集群关闭时继续读会导致logkit panic的问题。
4. 修复开启2个以上的metric runner会导致logkit panic的问题。
5. 修复 pandora_key_convert Transformer 在某些情况会遗留一个 _ 作为前缀导致仍然无法发送到pandora的问题。

Features

1. 增加了 pandora key convert transformer，可以将不符合pandora 字段类型的key字符转化为下划线。
2. 增加了clocktrail transformer，针对 AWS ClockTrail的数据做格式转换。
3. 增加了UserAgent Transformer，针对浏览器的UserAgent进行数据的解析并扩展。
4. 增加了mysql log parser，用于解析mysql慢请求日志。
5. 增加了http metric功能，可以实现自定义请求，持续验证某个服务是否可用。
6. 全面优化logkit前端配置，大大简化了logkit配置的复杂度。
7. 大量前端美化。

Bugfixes

1. runner错误信息中，修复了一旦sender出现错误就再也不会消失的问题。
2. 将metric信息默认发到TSDB改为默认发到logdb。
3. 修复了pandora sender中，tsdb series配置不生效的问题。

Features

1. 增加了snmp reader 可以根据snmp协议收集数据
2. 增加了高级选项标记
3. 支持通过环境变量增加数据tag
4. pandora sender增加unescape选项，解决 \t \n发送是被转为 \\t \\n的问题
5. 增加了kafka reader的lag统计
6. 增加了tailx reader的lag统计
7. 增加了解析失败的数据默认记录到 pandora_stash 字段的功能，同时也可以在配置时使用 disable_record_errdata 禁用，默认情况下解析失败的数据会作为 pandora_stash字段发送

Bugfixes

1. 修复了metric runner运行时类型判断问题，现在默认都是float
2. 修复了cleaner在文件被删除时传递了""导致判断为"."而无法正常删除的问题
3. 修复 reset donefile 信息时会删除整个 meta 文件夹的问题
4. 修复了parse错误的信息不在web上显示的问题
5. 修正了一批数据发送到pandora可能会更新多次pandora资源schema的问题，现在一批数据只会更新一次

Features

• 增加了kafka zookeeper的chroot选择，解决了某些用户的kafka集群信息不在zookeeper根目录情况下无法使用logkit的问题。
• 增加了采集进程信息的metric采集功能，用户可以选择某些进程进行监控
• 增加了reader时读取一个json文件作为数据标签的功能，用户可以准备一个json文件，将里面的数据作为tag加入到每一条data中。
• 增加了json Transformer功能，用户可以将一个json字符串解析成一个map放置到对应的数据点中。
• 增加了可以关闭web server的功能，减少logkit作为纯粹的agent收集数据的开销
• 增加了parser中，数据解析错误时，将原始数据作为string放到pandora_stash字段的功能
• 增加了一系列readdata、parsedate、senddate的函数调用，使得配置可以方便的分段确认。
• 增加了script reader，用户可以直接在logkit定时调用某个脚本得到数据.
• 增加了snmp reader，用户可以配置logkit直接从snmp协议中读取数据
• 增加了influxdb sender中自动创建database、series以及retention policy的功能

Bugfixes

• 前端修复了修改格式提示json错误过于频繁的问题
• 修复了tailx模式下reset不生效的问题
• 修复了数据中有空的map导致打点失败的问题
• 修复了logkit在关闭sender时超时，继续打点有可能会导致panic的问题
• logkit前端Transformer功能由英文显示改为中文显示

Features

• 增加了sender的route功能
• 增强了sql_reader的自动识别数据类型的能力
• 增加了自动更新的命令 logkit -upgrade 从这个版本开始，你可以通过这个命令自动更新
• 集群模式下备份配置文件失败时回滚
• 集群模式下master 对 slave 的命令改为并行执行
• 在数据发送失败时，json化后直接作为pandora_stash字段发送。
• 增加了lable transformer，可以增加数据标签
• 增加了http reader，可以接受http形式传来的数据
• 增加了http sender，可以将数据以http形式发送
• 增加了一种内网使用logkit中转数据的方案，通过这个版本，你的logkit在内网也可以发送数据到中转的logkit再发送出来。
• logkit支持发送数据到pandora的dag版本(新版本)
• 机器的metric数据导出到logdb，分词从原来的标准分词改为不分词
• dir模式下，sourcetag现在能看到具体是从哪一个文件发送的。
• 前端添加Transformer时提示更友好，你不会再忘记添加Transformer
• 使用jsoniter包替换标准的json库，json相关的部分性能提升一倍以上。
• 增加了jsonstring的校验，使得ignore_invalid_field，开启后可以自动筛选不符合的jsonstring字符串

Bugfixes

• 修复了k8s获取的containerID和实例ID的情况
• 修复了csv_parser在jsonmap unmashal的时候json.Number解析的问题
• dir模式下，按文件的修改时间排序，精确到纳秒，如果时间相同，以文件名排序，修复了同一时间的日志只读一份的问题
• 修复了Transformer中的bool类型在前端创建成string的情况
• 修复前端展示时，字段说明过长导致部分不显示的问题，现在会改为换行

Features

• 增加了PostgreSQL Reader，可以读取PostgreSQL中的数据
• 增加了Elasticsearch v6的支持，包括reader和sender
• 增加了在配置中直接写slave的tag和ip的支持
• 增加了logkit的日志输出到文件的配置
• 增加了logkit命令行，可以显示版本号等信息
• 增加了Elasticsearch Sender按日期创建索引所参照的时区选项
• 在elasticsearch sender中增加了logkit发送时间
• 增强replace trancesformer, 使其支持正则替换
• 增强所有transformer,使其支持转换二级及以上字段(层级字段之间分隔符为. )
• 增加Rename Transformer，你可以通过这个功能重命名你的字段
• Redis Reader支持多频道订阅和多key值读取数据
• 增加了一种autofile文件读取模式，帮助用户自动选择该使用的文件读取模式
• 为 csv parser 添加是否自动将字段名称中的'-'更改为'_'的选项
• 前端样例数据测试 parser 出错时，给出详细错误信息

Bugfixes

• 修复了date Transform的前端bug
• 修复了metric runner的失败重发会引入重复的extrainfo的bug
• 修复elasticsearch sender启用重命名会丢失其它字段的bug
• dir模式下检测下一个log文件时,对文件修改时间做纳秒级比较，修复了两个文件修改时间特别接近时,略过一些文件的问题
• 修复了一些极小概率情况下出现的并发读写导致panic的问题

特别感谢 @yangwenmai 、 @hongdanyang1991 及其团队对logkit的贡献