flinkStreamSQL

基于开源的flink,对其实时sql进行扩展;主要实现了流与维表的join,支持原生flink SQL所有的语法

APACHE-2.0 License

Stars
2K

Bot releases are hidden (Show)

flinkStreamSQL - r1.8.7 Latest Release

Published by leeang12138 over 4 years ago

1、新增hbaes结果表和维表Kerberos功能
2、redis 结果表的数据结构调整和维表的数据结构一致
3、其他bug修复

flinkStreamSQL - r1.8.6

Published by leeang12138 over 4 years ago

1、新增tidb维表和结果表的功能
2、新增oceanbase维表和结果表的功能
3、修复rdb维表的资源泄漏bug
4、其他部分bug修复和代码优化

flinkStreamSQL - r1.8.5

Published by leeang12138 over 4 years ago

1、更新插件文档,补充示例说明
2、对内部代码做规范调整
3、对异步维表逻辑做了抽象复用
4、对rdb异步维表新增连接重试和反压功能
5、对现有的问题进行修复

flinkStreamSQL -

Published by todd5167 over 4 years ago

flink版本升级为1.10

flinkStreamSQL -

Published by zoudaokoulife over 4 years ago

1.修复新版SQL解析相关Bug.
2.修复解析维表时间字段BUG.
3.代码规范处理
4.重构文档

flinkStreamSQL -

Published by todd5167 over 4 years ago

  1. 修复新版SQL解析相关Bug.
  2. 修复解析维表时间字段BUG.
  3. 代码规范处理。
flinkStreamSQL -

Published by zoudaokoulife over 4 years ago

本次更新主要是解决流与维表混合join bug;
当前版本流与维表join 之后无需添加别名
eg:streamA join dimA join steamB join streamC

flinkStreamSQL -

Published by todd5167 over 4 years ago

  1. 对Kakfa插件进行了公共代码抽取,支持通过scheam的方式解析kafka avro,json,csv数据格式。
  2. 移除了launcher模块无用代码。
  3. 内部支持对回溯流的重新注册,以及关系型数据库中对回溯流采用删除或者追加的模式。
  4. 对RDB SINK模块代码进行重构,对部分插件支持数据部分替换和全部替换两种插入语句。
  5. 支持维表的谓词下推操作。
  6. 修复连续JOIN的BUG。
flinkStreamSQL -

Published by todd5167 over 4 years ago

  1. 对维表Join驱动表是Retract的流过滤。
  2. 修复维表谓词下推BUG。
  3. 修复维表partitionedJoin的BUG。
  4. 修复Hbase结果表字段映射不匹配的BUG。
  5. 修复异步维表初次加载数据被覆盖的BUG。
  6. 修复维表异步加载方式遇到超时导致任务卡住BUG。

遗留问题:

  1. 维表连续Join在存在相同字段时,不能正确关联数据,建议使用嵌套Join的方式。
flinkStreamSQL - r1.5.0

Published by yangsishu about 6 years ago

基于flink1.5 的稳定版本

flinkStreamSQL - r1.4.0

Published by yangsishu about 6 years ago

基于flink1.4版本的稳定版本