如何在Java中使用JDBC实现Oracle数据库增量同步的最佳实践

增量同步这事儿，听起来技术难度不高，但做起来翻车的案例比比皆是。核心就一句话：必须依赖一个能可靠识别变更的字段，比如 last_update_time。配合上带索引的查询、PreparedStatement 绑定时间参数、分批提交、MERGE 幂等写入，再加上断点续传控制表，才能把同步做成一个可落地的方案。

增量同步必须依赖可识别变更的字段

Oracle 本身不提供全局递增 ID 或自动更新时间戳，所以 Ja va 端做增量同步之前，得先确认源表有没有 last_update_time 或 create_time 这类能反映变更的字段。没有的话，dbms_logmnr 或物化视图日志虽然可行，但运维成本太高，不建议在 JDBC 层硬扛。

常见的错误现象：有人用 ROWNUM 或 ROWID 当增量依据——它们不随业务变更稳定递增，重跑时会漏数据或重复插入。

• 优先选 last_update_time（带索引），查询条件写成 WHERE last_update_time > ?
• 若只有 create_time，且业务只做 INSERT 不 UPDATE/DELETE，则可用；否则无法捕获修改
• 避免用 SYS_GUID() 或序列值做判断，无时间语义，无法排序和断点续传

PreparedStatement + 时间参数绑定是核心写法

每次同步需要记住上一次最大时间点，下次查询就从这个时间点往后取。不能靠“查 MAX(time) 再 +1 秒”这种粗略方式，Oracle 毫秒级时间可能有重复。

关键代码片段：

String sql = "SELECT id, name, value, last_update_time FROM t_user WHERE last_update_time > ?"; PreparedStatement ps = conn_source.prepareStatement(sql); ps.setTimestamp(1, lastSyncTime); // lastSyncTime 是上次同步记录的最大时间 ResultSet rs = ps.executeQuery();

注意：setTimestamp 必须用 ja va.sql.Timestamp，不是 ja va.util.Date；Oracle 对时区敏感，确保 JDBC URL 里加了 serverTimezone=UTC 或显式设置 Calendar 实例。

• 查询结果集建议调用 rs.setFetchSize(5000)，减少网络往返次数
• 别用 rs.next() 配合 Thread.sleep() 控速——这是反模式，应由数据库限流或应用层队列控制
• 如果源表没索引在 last_update_time 上，全表扫描会拖垮性能，务必补建

批量写入目标库要关自动提交 + 分批提交

目标库插入不设事务边界，轻则锁表，重则 ORA-01555 快照过旧错误。尤其当源数据量大、单次拉取超 10 万行时，必须手动分批。

典型做法：

• 目标连接调用 conn_destination.setAutoCommit(false)
• 每 5000 行执行一次 ps_target.executeBatch() + conn_destination.commit()
• 捕获 SQLException 后，回滚当前批次，记录失败 offset 和时间范围，便于重试
• 避免用 addBatch() 堆积百万条再 execute —— 内存溢出风险高，且 Oracle 批处理上限默认是 1000 条/批

断点续传和幂等写入缺一不可

网络抖动、JVM Crash、数据库瞬断都会导致同步中断。只靠“记时间戳”不够，还得在目标表加唯一约束或用 MERGE 语句。

推荐写法：

MERGE INTO t_user_dst t USING (SELECT ? id, ? name, ? value, ? last_update_time FROM dual) s ON (t.id = s.id) WHEN MATCHED THEN UPDATE SET t.name = s.name, t.value = s.value, t.last_update_time = s.last_update_time WHEN NOT MATCHED THEN INSERT (id, name, value, last_update_time) VALUES (s.id, s.name, s.value, s.last_update_time)

这样即使同一批数据重推，也不会报唯一键冲突或丢更新。

• 每次同步成功后，把本次查询到的最大 last_update_time 写入一张控制表（如 sync_checkpoint），而不是存在内存或文件里
• 不要依赖 JVM shutdown hook 记 checkpoint —— 容器重启或 kill -9 时它不触发
• Oracle 的 MERGE 在 10g 及以上都支持，但注意目标列不能为 NULL 约束而源数据为 NULL，否则报 ORA-01400

真正麻烦的从来不是代码怎么写，而是时间字段是否可靠、索引是否生效、目标表是否有主键或唯一键支撑 MERGE。这些不在 Ja va 里，但在 Oracle 里，漏掉任何一个，同步就会变成定时冲击波。