QQ绑定
QQ绑定
首页
社区
心情
心情广播
游戏
面板
靓号
功能
登录
立即注册
摸鱼
摸鱼
帮助
元素远征
牛马集市
会员星图
字帖生成
登录特效
旅行地图
任务成就
积分商城
超级淘客
资源广场
友情链接
众裁中心
寻宝彩蛋
游戏勋章
牛马网盘
牛马图床
时间胶囊
牛马万年历
恶作剧商店
技术
做数据库迁移功能,远不只是生成几条 SQL: DataZen 0.3.0
微信扫一扫 分享朋友圈
已有
37222
人穿越成功
教程:手机怎么扫描二维码
33
1
Look🍊
ID
257
6 天前
发表在
兴趣交流
|
查看全部
阅读模式
众裁
做数据库迁移这几个月踩的坑:DataZen 0.3.0 的 Schema Diff / Data Sync / Data Transfer
之前在 V2EX 发过 DataZen ,当时还是 0.0.8 。这几个月一直在继续开发,现在到 0.3.0 了。
这次想聊聊里面的三个迁移功能:Schema Diff 、Data Sync 、Data Transfer 。它们分别做数据库结构比对、数据同步和异构数据库之间的数据传输。
做之前觉得这些功能应该不算太复杂,真正动手之后才发现,数据库迁移这件事比想象中麻烦得多。有些问题不实际处理一遍,很难意识到它们的复杂程度。
先说明一下测试情况:目前真正做过比较完整端到端验证的主要是 PostgreSQL 和 MySQL ,其他数据库组合还没有达到同样的验证程度。
Schema Diff:生成 DDL 容易,正确执行难
一开始做 Schema Diff ,想法很直接:选择源数据库和目标数据库,比较结构差异,然后生成 DDL 。
但很快就发现,数据库对象之间有不少依赖关系。
比如,表可能依赖自定义类型和序列,外键依赖主键以及被引用的表,视图、函数、触发器之间也可能互相依赖。不同数据库对类型、索引、约束的定义方式又不一样。
如果只是把对象分组,然后按固定顺序生成 SQL ,遇到稍微复杂一点的结构就容易出问题。
所以 DataZen 后来改成了结构化的对象比较,并根据对象之间的依赖关系构建 DAG ,做拓扑排序,决定 DDL 的执行顺序。
另一个问题是不同数据库的 DDL 方言。最初如果把这些逻辑都放在核心模块里,随着支持的数据库越来越多,各种数据库类型判断会越来越难维护。现在是通过 Driver API 的 SchemaMigrationRenderer,由驱动负责渲染各自的 DDL ,同时声明支持哪些迁移操作。
举个例子,修改一张表的主键,可能同时涉及外键、索引以及其他依赖对象。到底先删除什么、再创建什么、最后恢复什么,都需要仔细处理。顺序错了,轻则部署失败,重则影响原有结构。
现在部署之前会先生成 DDL 计划,用户可以检查具体要执行的 SQL ,部署任务也支持取消。
这部分确实
折腾
了不少时间。越做越觉得,Schema Diff 真正难的不是比较两个数据库有哪些不同,而是怎么把这些不同转换成一套合理、可执行的变更。
Data Sync:比较数据容易,保证执行结果符合预期难
Data Sync 最开始也没想得太复杂,无非是比较两个数据库的数据,然后找出新增、修改和删除的记录。
但实际开发中,大数据量和数据变化会带来不少问题。
首先是内存。不能为了比较两个数据库,就把两边的所有数据全部加载到内存里。
其次是数据一致性。比较期间如果源库或目标库的数据发生变化,用户看到的比较结果可能已经过时。还有复合主键、跨页选择、写入冲突、任务取消和失败恢复等问题。
DataZen 在这部分做过一轮比较大的重构。
比较结果现在会生成一份不可变的执行计划,避免用户确认之后,实际执行时又重新计算出另一套结果。
大数据量比较也不能全放内存里,所以做了磁盘索引存储,比较过程采用流式分页。进程退出后,已经生成的比较结果也能够恢复。
另外还处理了稳定读快照、复合主键、范围选择和乐观冲突检测。尤其是最后这个:用户预览完准备同步,目标数据库中的数据可能已经被其他人修改了,这时候不能直接把旧值覆盖过去。
这里花了不少精力。相比普通的数据复制,Data Sync 更麻烦的地方在于:
用户确认要同步的内容,和最后真正写入数据库的内容,必须能够对应起来。
Data Transfer:跨数据库迁移,数据类型只是开始
Data Transfer 和 Data Sync 不太一样。它不仅要传输数据,还要处理不同数据库之间的结构和类型差异。
拿 PostgreSQL 到 MySQL 举例,两边的数据类型不是完全对应的,自增列、序列、默认值也有不同的语义。索引、约束的定义方式不同,外键还会影响表数据的写入顺序。
有些类型甚至没法无损转换,不能随便找一个看起来相近的类型替代。
如果只是从源库读取数据,再拼成目标库的 INSERT ,碰到特殊类型、外键或者大量数据时,很容易出问题。
这部分主要做了类型和列映射,对不能确认安全转换的情况明确拒绝;写入时按照外键依赖排序,避免因为父子表顺序不对导致导入失败。
另外,为了处理大批量数据,传输过程采用分段执行和检查点机制,支持失败后的恢复和续传。这里并不是简单记录一个 offset 就可以了,还要处理检查点与实际写入之间的状态、重复写入,以及任务恢复时的边界问题。
PostgreSQL 的序列连续性、目标端主键和外键处理也花了不少功夫。
除了直接传到数据库,也支持生成 SQL 文件,包括原子写入、编码选择和 gzip 输出。
做到这里,感觉已经不只是一个数据复制功能了,更像是在数据库客户端里面实现了一个小型的数据迁移引擎。
目前的测试范围
这部分还是如实说一下。
目前这三个功能真正做过比较完整端到端验证的,主要是 PostgreSQL 和 MySQL ,覆盖了以下组合:
PostgreSQL → PostgreSQL
MySQL → MySQL
PostgreSQL → MySQL
MySQL → PostgreSQL
其他数据库驱动虽然有相应的能力接口和部分实现,但不同数据库之间的 Schema 差异、类型映射、数据写入和失败恢复,还没有完成同等程度的端到端验证。
因此,Data Sync 和 Data Transfer 对其他数据库组合会标记为实验性支持,不能认为已经达到 PostgreSQL 和 MySQL 组合的成熟度。
Schema Diff 则会根据驱动声明的迁移能力开放相应操作,不会因为数据库能够连接,就默认所有结构变更都能正确处理。
后面还需要继续补充不同数据库的真实环境测试。
关于 DataZen
除了迁移,日常数据库开发这些功能也值得试试
SQL Editor
SQL 编辑器支持基于真实数据库 Schema 的代码补全,输入表名、列名时会读取实际元数据,悬停可以查看字段类型和注释,也有函数参数提示。
多语句 SQL 支持单独执行当前语句、执行选中内容或者执行全部;另外还有参数绑定、SQL 格式化、代码片段、实时语法检查和查询结果流式加载。事务方面支持自动提交开关,以及手动 COMMIT / ROLLBACK 。对于没有 WHERE 条件的 UPDATE / DELETE ,还可以触发危险操作确认。
数据浏览和编辑
表数据采用网格方式展示,支持键盘导航、复制粘贴、单元格编辑、筛选、排序和分页。
编辑时会根据数据库字段类型使用不同的编辑控件,例如数字、日期、布尔、JSON 和枚举。修改不会直接写入数据库,而是先暂存,可以统一预览变更,再提交或回滚。
还支持多列排序、按条件组合筛选,以及通过外键直接跳转到关联表的记录。对于满足安全条件的简单 SELECT 查询,查询结果也可以直接编辑,不必专门回到原表。
数据导入导出
CSV 导入提供列映射向导,支持分批事务执行和错误报告。
导出支持 CSV 、XLSX 、Parquet 、TSV 、Markdown 、SQL UPDATE 等格式,可以选择列,查看导出进度,也可以中途取消。数据传输还支持生成 SQL 文件。
项目地址:
GitHub: https://github.com/flyxl/datazen
官网: https://flyxl.github.io/datazen/zh/
下载: https://flyxl.github.io/datazen/zh/download.html
Release: https://github.com/flyxl/datazen/releases/tag/v0.3.0
也欢迎试用 DataZen 。平时使用 Navicat 、DBeaver 、DataGrip 、TablePlus 的朋友,有什么问题或者
建议
都可以直接提。
⚠️内容来自互联网,如有侵权请点击
反馈
!侵权
投诉
违规内容举报
回复
转播
恶作剧
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜
本帖共 1 条回复,登录后即可查看
登录查看
立即注册
回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
Look🍊
Lv.1
牛马新星
118
主题
0
回帖
370
积分
+ 关注
发消息
hot.热文
换一批
女装退货率飙至80%,商家为何挂密码锁发货?
牛马论坛[NIUMABBS]-行为规范准则
小时候父母不让玩手机的秘密,网友亲测:经历过才懂!
[Day 21] - 10.26 - Tibo 又要重置了
day 22 - 今天 tibo 又重置
测试
AI 普及之后,应该把所有 Electron 重写为 native
求一个 Claude Team 车位,想直接进 Team
1000 美金预算还剩 998,我让 AI 开启了「付费软件斩杀计划」(Day 7 / 7)
“软饭硬吃?”石家庄一名25岁小伙在酒吧上班,被一位45岁的有钱大姐相中。
Ubuntu 等 Linux 发行版一发布,就锁定 PHP 版本号的原因是什么?
这种小程序葵花码直跳链接是怎么做到的?
1024 节日快乐
感谢老板支持,成功拿下【全家福-至尊套餐】
GPT-6.2 Astra & Sol 发布了
x 互粉贴! x 中文圈抱团
如何减少人为干预,让 agent 独立工作并提高交付质量
甲骨文免费 amd 小机出问题了吗
[Day 20] - 10.25 - Tibo 又要重置了
召唤神龙小游戏源码【H5版】
codex 的 vscode 插件又寄了啊
claude 账号突然被 on hold,有 v 友遇到过吗
原来达里奥切除过睾丸,很少有人知道
彩虹易支付 syskey 泄露高危后门, 可被利用发起订单退款等操作
上一主题
下一主题
浏览过的版块
奇闻异事
日常摸鱼
生活记录
硬核折腾
热点聚焦
软件工具
社区公告
有头有脸
上传一个头像,在任务中心获得。
QQ用户
绑定QQ账号,在任务中心获得。
晨曦初露
干啥都抢在前面,论坛第一批用户
100%
×
模板默认
东方雅韵
竹青·幽篁
霁蓝·澄碧
朱砂·绛霞
紫宸·夜宴
黛青·烟岚
月白·素练
莫兰迪雾色
雾灰·静默
鼠尾草·低吟
陶土·温存
石板·沉静
薄红·微醺
燕麦·素净
自然原木
橡木·暖阳
苔藓·晨露
陶土·粗陶
砂岩·旷野
森林·深境
桦木·素白
社区首页
我的帖子
我的消息
每日签到
游戏中心
查看全部
收起
全部应用
5
社区首页
默认
我的帖子
默认
我的消息
默认
每日签到
默认
游戏中心
默认
牛马论坛(niumabbs.com),一个专注于分享日常新鲜事、职场工作点滴、摸鱼乐趣与各类生活感悟的交流平台。
快捷访问
我的帖子
我的收藏
我的好友
我的关注
附加功能
任务大厅
道具商店
勋章中心
随便看看
关于我们
举报
小黑屋
手机版
站点统计
关注我们
加入Q群
微信客服
QQ客服
Copyright © 2026
NIUMABBS
版权所有
All Rights Reserved.
|
网站地图
劰载中...
关灯
在本版发帖
扫一扫添加微信客服
QQ客服
返回顶部
快速回复
返回顶部
返回列表