系统介绍
该系统基于智数通项目进行二次拓展开发,修复了原系统存在的问题:如首次启动服务之间调用过慢,数据服务 API 初始化无效,各模块删除操作缺乏关联校验,可视化模块回显和保存异常,工作流缓存无效等,同时优化了前台部分模块的属性显示,丰富了元数据的同步方式,支持手动执行数据质量检测等,现开源出去反哺社区(源码资料文末获取
)。
系统提供了统一的元数据自动采集和维护入口,在元数据模块中为数据管理提供了准确实时的基础数据,在此之上结合企业的现状调研和咨询,可以构建企业级的数据资产类目体系和数据安全体系。同时,通过数据质量模块,实现数据处理的质量管控。通过数据 API 模块,为上层应用提供数据接口服务,实现数据赋能。通过可视化模块无需搭配任何开发工具,简单拖拽和开发,即可完成复杂的数据分析任务等等。
系统应用微服务云原生技术,封装了大量技术开发包、技术应用组件、技术场景实现能力,提供了一个可支持企业各业务系统或产品快速开发实现的微服务应用数字化融合平台,富含各类开箱即用的组件、助力企业共享业务服务的组合重用,为企业服务化中台整合、数字化转型提供强力支撑,也为企业提供了最佳架构实践。同时该系统还是一套基于Spring Cloud的微服务应用程序框架,可帮助公司更快,更高效地进行微服务开发。
系统技术栈介绍
后台整体采用 SpringCloud 微服务框架开发,使用 Spring Security + Spring OAuth 2.0 实现认证鉴权;使用 Quartz 实现任务调度;使用 MyBatis Plus 作为持久层支撑;使用 RabbitMq 提供消息队列服务,用于模块之间的异步通信,处理任务;使用 Redis 提供缓存服务,加快系统查询响应速度;采用 Flowable 作为工作流引擎,为流程化业务提供服务支撑。
前台采用 vue 技术栈,使用 vue-element-ui 框架开发,样式简约精美,npm 一键打包,部署方便。
系统模块划分
系统模块划分细致明确,整体划分结构如下:
datax-ui-pro — 前端工程[9528]
datax-cloud-pro — 后端工程
├── datax-eureka — 注册中心[8610]
├── datax-config — 配置中心[8611]
├── datax-gateway — Spring Cloud Gateway网关[8612]
├── datax-auth — 授权服务提供[8613]
├── datax-common — 系统公共模块
├ ├── datax-common-core — 公共工具类核心包
├ ├── datax-common-database — 数据库相关工具类包
├ ├── datax-common-log — 日志服务类包
├ ├── datax-common-mybatis — 数据源类包
├ ├── datax-common-office — word工具类包
├ ├── datax-common-rabbitmq — rabbitmq消息队列类包
├ ├── datax-common-redis — redis类包
├ ├── datax-common-security — 安全工具类包
├── datax-modules — 业务模块
├ ├── codegen-service-parent — 后端代码生成管理模块[8830]
├ ├── data-market-service-parent — 数据集市管理模块[8822]
├ ├── data-masterdata-service-parent — 主数据管理模块[8828]
├ ├── data-metadata-service-parent — 元数据管理模块[8820]
├ ├── data-quality-service-parent — 数据质量管理模块[8826]
├ ├── data-standard-service-parent — 数据标准管理模块[8825]
├ ├── data-visual-service-parent — 可视化管理模块[8827]
├ ├── email-service-parent — 邮件管理模块[8812]
├ ├── file-service-parent — 文件管理模块[8811]
├ ├── quartz-service-parent — 定时任务管理模块[8813]
├ ├── system-service-parent — 平台基础设置管理模块[8810]
├ ├── workflow-service-parent — 流程管理模块[8814]
└── datax-tools — 图形化模块
├ ├── datax-tool-monitor — Spring Boot Admin监控 [8711]
系统截图
结语
依本人所见,源码中还是有很多可取之处的,思想层面,可以帮助我们了解数据平台的模块构成以及相关核心业务。技术层面,比如如何获取不同数据库的元数据信息,如何解析sql,如何动态生成 API 服务,如何自定义定时任务等,这些在日常开发中并不常见,但如果借此掌握,大有裨益。
开源不易,拒绝白嫖!你的赞助,会让项目越走越远,越走越好。资料中包含最新的源码,部署文档,一键启停脚本,附送数据中台标准建设方案PDF!!
系统有vmware镜像和Docker一键部署包,详情见:
后续会添加数据生产相关功能模块,不断更新中!
想要源码的朋友添加微信 L1243462058 获取哦。
在哪里下载
数据集市管理---服务集成中,集成的服务,从哪里调用,页面目前没有调用的入口吧
页面目前没有;
可以看下操作手册,里面有调用方式:
链接:https://pan.baidu.com/s/1nqdzCAxFvTkVUgLf-oSlqA?pwd=4oq2
提取码:4oq2
作者你好,我本地测试的时候想要关闭token和authoriz验证,怎么关闭呀,我注释掉相关的代码也不生效呀
https://blog.csdn.net/weixin_43756775/article/details/121426332
能不能加个好友咨询下,前端跑不起来
开源精神呢,没有sql脚本
麻烦微信通过下,谢谢
你好,security登录怎么还要这个验证呀
没错啊
提取码错了
没问题啊
好像是我的浏览器有问题了,换了个浏览器好了,多谢
为什么升级了vip之后,还看不到提取码
终身vip才可以
。。。那我这包月的钱岂不是白花了,要不这样吧,我加你微信,通过一下,我把终身vip剩余的价格补给你,你帮我调整一下权限
去个人中心直接补就可以
云盘的这个资料里,有项目完整的sql么
都有,所有的项目都有完整的sql和说明文档,都是百分百能运行的
aspose-words20.3报错,又下不下来
lib包底下有
右边依赖不报错了,可是左边代码大量报红
装一下lombok插件
能通过以下微信么
admin密码是123456?我咋报密码错
update sys_user set
password
='$2a$10$TmZTXiXLdS9Y1OOFHeAt4uVIMwh0B.zyqOcGBDYOz5QL6o6qa2YTa' where id='1214835832967581698'我的前端代码没部署,所以现在:8612/auth/oauth/token:1报错。前端data-ui-pro在哪里部署?也部署在各类服务的jar文件那里吗?
打包之后把dist文件夹下的文件复制了放在datax-gateway的src/main/resources/static文件夹下,或者配nginx映射前后端分离也行
非常感谢