gohangout

使用 golang 模仿的 Logstash。用于消费 Kafka 数据,处理后写入 ES、Clickhouse 等。

MIT License

Stars
1K
Committers
22

Bot releases are hidden (Show)

gohangout - Release v1.9.5

Published by childe almost 2 years ago

gohangout -

Published by childe over 2 years ago

  1. 添加 Gsub Filter
  2. 格式化的时候,增加 %{x}{y}{z} 多层的能力。
gohangout -

Published by childe over 2 years ago

clickhouse 可以自动获取 fields 列表;也可以自己配置。

gohangout -

Published by childe over 2 years ago

add prometheus metrics

gohangout -

Published by childe over 3 years ago

  1. kafka input 里面添加了 messages_queue_length 参数,默认是10。允许用户自己定义 Kafka Input 里面使用的 channel 长度。
  2. 使用 https://github.com/Masterminds/sprig 函数库,可以在 https://github.com/childe/gohangout/#%E6%A0%BC%E5%BC%8F3-xxx 这里使用
  3. fix: break loop when -exit-when-nil is true
gohangout -

Published by childe over 3 years ago

应 @kofssl 同学建议,发一个 v.1.7.5 版本

gohangout -

Published by childe over 3 years ago

  1. 改进 ES Output 的效率 #137 By @kofssl
  2. Fix SimpleJson 的 Bug #139 By @kofssl
gohangout -

Published by childe over 3 years ago

当收到 nil 的Event 时(一般是有错误了),选择是退出还是继续 #131

-exit-when-nil=false 默认是false

gohangout -

Published by childe over 3 years ago

  1. 失败时,添加标签时tags类型应当为[]interface{}. 否则 IN 条件判断失败
  2. 修改 IN 条件里面的 BUG
gohangout -

Published by childe over 3 years ago

fix: IPIP Filter 里面 数组下标越界的异常

gohangout -

Published by childe over 3 years ago

  1. UDP Input 里面可以添加对方的 IP 地址 #127
  2. Elasticsearch Output 里面可以配置 action #128
gohangout -

Published by childe about 4 years ago

fix #99: 建议添加KV模板的include_keys方法

gohangout -

Published by childe about 4 years ago

增加 Clickhouse 的IPv4和 IPv6的默认值

gohangout -

Published by childe about 4 years ago

  1. Clickhouse 添加了 conn_max_life_time 参数
  2. 添加了 IN 条件, IN($.tags,"app")
  3. 升级 healer 到 v0.1.4
gohangout -

Published by childe over 4 years ago

  1. Convert Filter 可以转成 string 类型
  2. HuangJacky 添加了 IPIP 对ipdb文件的支持
  3. Convert Filter 添加 setto_if_nil 配置
gohangout -

Published by childe over 4 years ago

v.1.4.4 中有些 debug 信息可能会暴露敏感信息, 把 debug 输出去掉.

gohangout - 请使用v1.4.5

Published by childe over 4 years ago

  1. 为ElasticsearchOutPut添加一个es_version的版本控制,可以通过配置指定具体的Elasticsearch版本。
    具体的做法就是在es_version为7时,不在meta数据中添加_type相关内容
  2. 增加配置文件热更新支持
  3. 打印 Config 的时候过滤敏感信息. 有些 debug 输出中没有过滤掉敏感信息, 请使用v1.4.5
gohangout -

Published by childe over 4 years ago

gohangout -

Published by childe over 4 years ago

update clickhouse to 1.3.6 #79

Package Rankings
Top 3.36% on Proxy.golang.org
Related Projects