引言
上次数睿通 2.0 更新是在 23 年12 月 底,已经过去了接近三个月的时间,中间由于过年加上年前年后实在是工作繁忙,所以一直没有腾出空来更新代码,希望大家可以理解,平台的发展离不开你们的支持,在此表示由衷的感谢!
本次主要是更新了数据接入模块,还有一些细节优化,bug修复等,主要添加了以下支持:
- 支持自定义增量字段同步,支持源端为数据表或 sql
- 支持表统一映射和单独映射,选择单独映射每张表可以配置自己的映射规则
- 修复数据服务查询别名问题
- 修复数据资产数据表 sql 鉴权问题
- 部分细节优化
下个版本会推出不少朋友想要的数据血缘自研页面,数据标签完善等内容,大家耐心等待,下面来简单看一下本次更新的内容。
支持增量字段同步
新版的数睿通 2.0 可以通过设置表或 sql 的增量字段来进行数据的同步,一般我们都会把时间戳当作增量字段,比如数据的更新时间等,每次同步都会记录上次更新的位置,下次更新就会从上次的位置继续同步,根据增量字段同步无法同步物理删除的数据,只能同步插入和更新操作,大家在使用的时候要注意这点,原理说起来很简单,但是实现起来的细节十分繁杂,实现过程大家可以自行去查阅源码。
支持统一映射和单独映射
之前的版本在配置数据接入任务的映射规则时候,只能对映射规则进行统一设置,也就是多张表运用的是同一种规则,不够灵活,映射规则之间也容易冲突,所以本次在之前的基础上新增了单独映射的功能,可以单独设置每个表的映射规则,主键以及增量字段,规则之间相互隔离。
问题处理修复
之前有朋友反应数据服务生成 api,sql 中如果有别名,查询出来还是本来的列名而不是展示别名,目前已经修复。数据资产 sql 语句查询的时候如果带上 schema 查询,会误报无权限访问,目前已修复,剩下的还有一些细节上的优化,在此就不一一赘述了,大家可以自行体验。
结语
本次更新内容就是这些了,看上去不多,但背后也是付出了很多的劳动,希望平台以后能越做越好,给大家的工作带来便利。下个版本会优先更新自研数据血缘页面,完善数据标签,有时间的话会支持 excel,api 等非结构化的数据集成,这几个功能呼声较高,优先考虑,平台后期打算跟 AI 结合,争取让现有功能变得更加智能,强大,任重而道远!
目前源码,部署指南,讲解视频等相关资料是付费加入知识星球获取的,价格相比其他同系列的产品连个零头都不到,还是很良心的,星球内可以获取到数睿通 2.0 的最新源码资料等,功能发布之后也会第一时间分享。
感兴趣的朋友请关注公众号 螺旋编程极客 加入星球,我们一起成长,一起进步。