v1.1.0
本次上线的Taier1.1版本做了以下更新:
1. Flink 版本升级到1.12
Taier作为一个分布式可视化的DAG任务调度系统,采用Chunjun作为分布式数据同步工具。
1.1版本将Flink版本升级到1.12 ,支持Chunjun 1.12版本中新增的transformer算子,用户在脚本中定义好数据类型以及SQL转换逻辑。
支持Flink 1.12的原生语法及Function
2. 数据同步支持脚本模式、增量同步
数据同步任务除向导模式外,1.1版本新增数据同步脚本模式。
脚本模式通过json的方式配置,无需依赖datasourcex的支持的数据源,直接通过json配置的方式提交任务,
脚本模式的json格式无缝兼容Chunjun的数据格式,用户可以通过脚本模式调试各类数据源的数据同步
3. 新增Hive SQL
新增Hive SQL类型任务,Apache Hive是一个构建于Hadoop顶层的数据仓库,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。
Taier1.1版本新增Hive SQL ,支持对接Hive的不同版本
4. 新增Flink SQL、实时采集等实时类型任务
新增实时采集任务,支持将MySQL、Oracle的数据同步至Kafka
新增Flink SQL任务,通过标准SQL语义的开发帮助快速完成数据任务的配置工作
5. 新增实时任务运维
通过实时运维中心查看实时任务的相关指标信息以及任务的详细日志信息
6. 支持Flink UDF、Spark UDF
用户自定义函数(User Defined Function,简称 UDF),是用户除了使用系统函数外,自行创建的函数,用于满足个性化的计算需求。自定义函数在使用上与普通的系统函数类似。
目前Taier1.1版本 Spark SQL 和 Flink SQL 任务均支持自定义函数
7. 暗黑主题
Taier开发界面暗黑主题上线,提供多种主题切换,用户可自行选择
感谢所有向 Taier 1.1贡献的朋友
参与者 |
---|
bnyte |
dtdazhi |
ghm02708 |
jiemotongxue |
kongshan-zhuyu |
LousenJay |
mortalYoung |
QAQ-Jun |
Saltingfish |
vainhope |