最新動態 > 重磅更新 | Squids DBMotion賦能國產化數據庫，新增多款同構數據庫遷移

重磅更新 | Squids DBMotion賦能國產化數據庫，新增多款同構數據庫遷移

2023年10月10日

秋天的第一次數據傳輸！

又雙叒叕，絲滑的零停機數據庫在線遷移工具Squids DBMotion再發新版！

Squids DBMotion繼續橫向擴展數據庫能力，本次不僅增加了PostgreSQL、GaussDB和openGauss的同構數據庫能力，也提供了這些數據庫到Kafka的數據流訂閱功能，同時增加了Redis的增量和分片集群同步能力。另外，在任務列表查看，源對象篩選等方面也做了大量優化，大大提升了用戶體驗。

支持多款同構數據庫遷移

不管是世界上最流行的開源數據庫(The world's most popular open source database)還是世界上最強大的開源數據庫(The world's most advanced open source database)，Squids DBMotion現在都可以支持遷移了。在新版本中，DBMotion支持了PostgreSQL、GaussDB和openGauss等同構數據庫之間的遷移。

圖片1.png

其中，PostgreSQL支持的遷移對象較多。目前，DBMotion除了支持table表結構遷移以外，還支持了extension、type、domain、view、procedure、function、trigger、sequence等對象遷移。

圖片2.png

DBMotion采用復制槽replication slot的方式來做增量同步。但是，如果DBMotion同步報錯或者用戶暫停了同步任務，復制槽的位點無法更新，源庫無法及時清理日志，可能導致源庫磁盤空間占用過大等問題。在“遷移選項配置頁面”上，用戶可以配置“自動清理 replication slot”的時間，在DBMotion暫停或者報錯超過配置的小時數之后，復制槽replication slot會被自動清理掉，以避免源庫磁盤空間無法釋放的問題。

圖片3.png

Kafka數據流訂閱

DBMotion新版本，支持Oracle、PostgreSQL、GaussDB和openGauss數據庫到Kafka的同步。

圖片4.png

在遷移對象選擇框中，用戶只能選擇同步哪些表的數據。寫入Kafka的時候，用戶可以選擇投遞策略，是投遞到一個已有的topic還是自動創建topic。

投遞到一個topic里面時，需要用戶選擇已有的topic名稱；并且選擇a) 按庫/表名hash到不同partition，b) 按主鍵hash到不同partition，c) 集中投遞到partition0。

圖片5.png

如自動創建topic，DBMotion會自動創建按用戶的topic命名規則、partition個數、partition副本數要求創建topic，并且按partition投遞策略寫入Kafka。

圖片6.png

寫入Kafka的序列化格式，本次更新實現了canal-json方式，后續會補充avro格式。

圖片7.png

Redis能力提升

本次更新，Redis能力得到進一步提升，DBMotion支持了增量同步。增量同步采用psync方式進行同步，支持4.0及以上的版本。

支持分片集群校驗，如果是分片集群的話，單擊“獲取源庫當前位點”，可以獲取整個分片集群的所有當前起始位點。

圖片8.png

用戶體驗優化

新版本還進行了部分用戶體驗的優化。

用戶從任務列表進入任務詳情以后：

圖片9.png

從任務詳情返回：

圖片10.png

回到任務列表，還能保留在上次的的分頁，并高亮剛剛的任務：

圖片11.png

另外，在源端對象選擇時，可以輸入對象名稱，對象選擇樹上的相關節點會標紅，在對象特別多的時候，便于用戶快速找到對應名稱的對象。

圖片12.png

更加詳細的發版修改如下，您可以登錄https://console.squids.cn/dts/list 親自體驗起來！

版本更新匯總

新增特性

# Redis

分片集群數據遷移支持全量+增量遷移。
主備集群支持增量遷移。
增加6.x版本支持。

# PostgreSQL to PostgreSQL

對象遷移，全量遷移，增量同步（不支持DDL, 不支持雙向同步)。
對象校驗，查看不一致詳情。
數據校驗，查看不一致行，生成訂正SQL。

# GaussDB to GaussDB

對象遷移，全量遷移，增量同步（不支持DDL，不支持雙向同步)。
對象校驗，查看不一致詳情。
數據校驗，查看不一致行，生成訂正SQL。

# openGauss to openGauss

對象遷移。
對象校驗，查看不一致詳情。

# PostgreSQL/GaussDB/openGauss to Kafka

全量遷移。
增量訂閱。

# SSL/TLS加密傳輸

MySQL/MongoDB/Redis/PostgreSQL/GaussDB/openGauss：

支持加密碼傳輸。
支持輸入客戶端證書和密鑰，滿足服務器端驗證要求。
支持輸入CA證書，驗證服務器的身份。

# 前端

支持遷移任務，校驗任務高亮顯示最后一次操作記錄，便于用戶查看。
新增對遷移任務中的遷移對象進行查找，便于用戶快速選取遷移對象。
優化授權語句查看樣式，補全缺失的數據庫授權語句文件。

問題修復

# MongoDB

增量位點獲取bug。
結構+全量遷移任務中，重復執行遷移任務bug修復。

# Oracle to GaussDB

修復不能遷移zero date的報錯。

# 前端

修復遷移任務遷移對象類型展示與實際數據不一致的問題。
修復遷移任務映射與過濾步驟中存在的過濾條件與列映射配置無法清除的問題。

DBMotion能力概覽

支持MySQL to MySQL/ClickHouse/Kafka、Oracle to GaussDB/Kafka、 SQL Server to SQL Server、PostgreSQL to PostgreSQL/Kafka、MongoDB to MongoDB、Redis to Redis、OpenGauss to openGauss/Kafka、GaussDB to GaussDB/Kafka。
支持MySQL和openGauss的雙向同步。
支持對象校驗和數據校驗。對象校驗會校驗視圖存儲過程等對象和表的定義；會校驗表、列的屬性，包括類型、注釋、字符集、是否為空等；數據校驗會校驗行數、列值。
支持查看數據不一致和重新同步不一致的單個表或者某幾行。
支持遷移完成后的反向同步。
支持SSL/TLS加密連接。

上一篇：喜訊！沃趣科技上榜浙江省“2023年省級產業數字化服務商”

下一篇：新起點向未來 | 沃趣科技北京分公司喬遷新址

韩国保姆2_少女伦理电影_HD中文字幕在线观看,玩偶姐姐在线观看高清,8090新视觉电影免费播放在线观看,98蜜桃