【有奖征文】DSS数据治理实践

[Jinping90]

一，使用背景

公司业务线较多，有景区智慧一体化管控平台的业务线，以省市县数据中心为主的数据中心业务线，以智能小程序切入的面向C端游客的业务线，面向游客的ots业务线等，目前准备构建一套可以打通各个业务线的数据中台，经过前期调研，发现微众的DSS + Linkis平台可以完美融入我们的数据中台架构，故决定搭建该平台。

二，使用功能亮点

微众DSS + Linkis打通了数据治理的闭环，数据交换-数据分析-数据使用-可视化报表展示整个链路可以满足大部分数据治理的需求，特别是scriptis脚本分析，融合了spark-sql,Hsql,scala脚本，python脚本，shell脚本，功能丰富且强大，页面风格也很清晰。脚本执行出的分析内容可以直接下载Excel或者数据报表，省去了之前很多数据导来导去的工作量。另外使用中发现一个额外功能：工作流结合调度基本可实现数据清洗的功能。

三，使用展望

希望之后可以开放数据api服务的功能，目前我们已有类似的需求，打算通过Visulis的试图暴露api出去给外部系统查询使用，可能有一定的改造工作量。

四，使用感受

对环境和版本要求较高，建议使用前可以先咨询微众开源社区人员，根据自己的spark，hadoop，hive环境和版本选择合适的DSS+Linkis编译版本。在搭建项目过程中遇到了不少困难，感谢微众小伙伴的大力支持，特别感谢杨峙岳和饶进阳开发同学的帮助，在周末休息的情况下基本上全天都在帮我解决问题，十分感谢！