十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
CloudCanal 2.1.0.x 版本开始支持 StarRocks 作为对端的数据迁移同步能力
成都创新互联公司是一家专注于网站建设、成都网站建设与策划设计,新荣网站建设哪家好?成都创新互联公司做网站,专注于网站建设十多年,网设计领域的专业建站公司;建站业务涵盖:新荣等地区。新荣做网站价格咨询:18982081108
本文通过 MySQL-StarRocks 的数据迁移同步案例简要介绍这个源端的能力。链路特点:
StarRocks 提供了多种导入方式。CloudCanal 采用了 StreamLoad 的方式进行导入,源端的消息会转成字节流,通过 HTTP 协议发往 StarRocks。
相比直接通过 SQL 写入的方式,StreamLoad 方式会有更好的性能,写入的数据直接经 FE 转发给 BE 处理。如果直接采用 SQL 写入,在 FE 侧,会有额外的 SQL 解析开销。
CloudCanal 提供了 StreamLoad 可配置的丰富参数,包括:
过快的写入会导致 StarRocks 来不及 compaction,从而产生异常。CloudCanal 提供了两个任务参数,支持在一批数据写入后自动停顿一段时间,避免这种问题。参数为:
CloudCanal 任务详情页,点击 参数修改 ,即可调整
StarRocks 作为实时数仓,采用 主键模型 或者 聚合模型 较多。CloudCanal默认采用 主键模型 ,能够实时同步源端的 INSERT / UPDATE / DELETE 。
基于 StreamLoad 的写入方式,实际写入对端的操作均为 INSERT。CloudCanal 同步时会自动将 UPDATE/DELETE 转成INSERT语句,并修改 __ops 值,StarRocks 会自动进行compaction。
StarRocks 不支持 \n 等特殊符号写入,CloudCanal 任务通过参数设置( enableEscape 参数) 开启自动转义。
对于高流量的场景,建议使用 4G 及以上的任务规格配置,并且对相关参数进行调优,调优建立在任务无 GC 问题、对端 StarRocks 没有 compaction 瓶颈的情况下。
本文简单介绍了如何使用 CloudCanal 进行MySQL到StarRocks 的数据迁移同步。各位读者朋友,如果你觉得还不错,请点赞、评论加转发吧。
默认任务参数配置下,如果导入数据过于频繁可能会任务异常,这时候可以调节上文提到的fullBatchWaitTimeMs和increBatchWaitTimeMs参数或者调整StarRocks的Server侧的合并策略。下图为StarRocks官方提供的常见问题FAQ
CloudCanal-免费好用的企业级数据同步工具,欢迎品鉴。
了解更多产品可以查看 官方网站 :
CloudCanal社区 :
Postgresql不支持跨数据库操作。
可以通过pg_dump加上pg_restore或psql来完成迁移,或者直接使用sql语句中的copy语句来完成数据的迁移。
如果表结构在mysql和postgresql的结构差别不大,那么相互迁移是比较简单的。
可以通过用shell脚本来处理能很好的实现。
第一:mysql 导出文本文件。
第二:shell处理文本文件的格式,使之适合postgresql导入格式,生成至目标文本文件。
第三:在postgresql中执行目标文本文件即可。
Postgresql不支持跨数据库操作。
可以通过pg_dump加上pg_restore或psql来完成迁移
或者直接使用sql语句中的copy语句来完成数据的迁移
具体看你的情况来选择一个合适的方法,你可以加我HI,我给你些建议
如何将GitLab的数据库从PostgreSQL迁移至MySQL
转数据库偷懒的做法就是:用一台装有sql server的机器,运行DTS程序(导入导出数据),然后源选择postgresql,目标选择mysql,直接导。。。记得装ms的两个数据库驱动程序 很多情况下,简单的数据库一下就能导过去,但是出于需要,还是建议人工建表,核对字段比较稳妥
一. 如果B数据库是新建的,为了移植数据库,那就直接附加,分下列步骤:
1. 打开配置管理器
2. 停止SQL Server服务
3. 在C:\Program Files\Microsoft SQL Server\MSSQL.1\MSSQL\Data目录下找到数据库文件,复制到B电脑上,B电脑打开数据库附加A数据库就好了。
二. 如果B数据库已经曾在,可以使用导出任务
打开数据库,右键点在数据库上,找到导出任务
按照向导选择该到处的数据表和视图。填写两个数据库的验证信息