数睿通2.0数据质量,标签,服务,标准全面升级

引言

大家好,经过接近两月时间,数睿通 2.0 迎来了新一轮更新,本次更新内容较多,对数据质量,数据标签,数据标准,数据服务做了全方位的优化升级,系统的数据治理功能也因此获得较大提升。感谢一直以来大家的鼓励和支持,你们的不断支持就是我们不断更新的最大动力!本次更新内容主要包括:

  • 数据质量整体重构(质量规则,检测日志,错误主题库)— 用户可自定义质量规则,选择指定的表,对需要检测的字段进行配置,支持检测日志查看,对于检测到的错误数据结果,可以手动干预修复
  • 数据标签优化完善(标签类目,即席查询)— 用户可自定义标签类目体系,灵活定义标签数据,同时可对标签数据进行即席查询操作
  • 数据标准优化完善(标准清洗,清洗日志)— 用户可利用元数据目录进行字段级别的标准关联,检测,以及配置清洗规则,同时可灵活查询清洗产生的日志
  • 数据服务优化 — 配置动态 API 的时候,添加自动分页选项,支持对查询语句进行自动分页处理,解决以往查询 API 只能全量查询的弊端
  • 元数据采集优化 — 元数据采集支持表级别的采集配置

数据质量整体重构

数据质量模块本次更新变化较大,进行了整体重构,现在配置质量规则需要先指定表,再去配置该表的一个或多个字段的检测规则,相比之前,逻辑更加清晰,同时加入了表主键(唯一键)的选择,目的是为了方便之后的数据修正操作,摒弃了原有的冗杂检测逻辑,适配了目前市场的主流需求。

数据标签优化完善

本次更新补齐了数据标签的标签类目和即席查询模块,用户可自定义标签类目体系,选择标签类型和标签实体,灵活配置标签数据,配置完标签数据后,可在即席查询模块对指定标签进行即席查询操作,方便用户更加精准的定位标签数据。

数据标准优化完善

该版本对数据标准进行了升级优化,之前版本的数据标准进行标准检测之后就没有了后续操作,本次更新补充了后续的标准清洗操作,用户在元数据采集完毕后,可自行选择字段关联自定义的数据标准字段,与标准数据进行比对,检测,清洗操作,清洗后会产生日志,供用户查询清洗结果。

数据服务优化

本次更新对数据服务 API 进行了优化,新增了配置自动分页的功能,后台可以识别不同的数据库类型,拦截 sql,转化为适配的分页语句,解决了以往只能全量查询,若数据量大会导致查询时间过长,阻塞服务的痛点。

元数据采集优化

新版可以指定一个或多个表进行元数据采集操作,相比于老版的整库采集,更加灵活,用户可根据自身需求对元数据采集进行配置。

bug 修复,细节优化

本次更新也对用户反馈的 bug 和细节进行了修复和优化,在此就不再一一赘述了,也希望随着不断的迭代更新平台功能可以越来越好,越做越强大!

结语

本次更新就到此为止了,更新内容较多,应该需要大家慢慢消化一阵。下个版本计划接入 seatunnel 数据集成组件,相比现款的 dbswtich 支持的数据源更多,同步效率更高,同时也不会抛弃现有逻辑,准备在数据接入的时候添加一个组件选项,根据不同选项做不同配置,希望大家多多支持。

目前源码,部署指南,讲解视频等相关资料是付费加入知识星球获取的,价格相比其他同系列的产品连个零头都不到,还是很良心的,星球内可以获取到数睿通 2.0 的最新源码资料等,功能发布之后也会第一时间分享。

感兴趣的朋友请关注公众号 螺旋编程极客 加入星球,我们一起成长,一起进步。

订阅评论
提醒
0 评论
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x
()
x