跳到主要内容

CDC安装

目录​

安装包安装​


一、使用Linux安装包安装​

(一)安装简介​

  • TongCDC(Tong Change Data Capture)是一个企业数据采集组件,提供对企业数据集成中的增量数据采集功能。

  • TongCDC 不会对数据库表进行修改,而是从数据库归档日志中获取数据库表新增、更新和删除的数据。

  • TongCDC 在数据集成中负责增量数据的采集。

(二)使用限制​

  • 目前 TongCDC 仅能抽取出数据库归档日志文件中的 DML(Data Manipulation Language)操作。

    例如:Insert、Update、Delete。

  • 不能抽取出数据库归档日志文件中的 DDL (Data Definition Language)操作。

    例如:Alter、Drop。

(三)环境要求​

  • 系统要求
系统组件系统要求
硬件如下相应操作系统所支持的硬件平台
操作系统Windows/Linux
系统配置内存:4G及以上;磁盘:50G及以上。
JAVA环境支持JDK11版本。
配置数据库支持达梦(DM)、电科金仓(Kingbase)、OceanBase、海量(vastbase)、翰高(HighGo)、OpenGauss、MySQL、postgreSQL、ORACLE、SqlServer
  • 开放端口

    TongCDC服务器在运行和调试时,需要开通如下表格中的端口。

    功能协议端口号
    SSHTCP22(部署、运维使用)
    应用端口TCP9090、9091、9999

(四)解压安装​

为了方便后续描述,安装路径使用 ${tongcdc_home} 代替

1. Linux 平台下安装​

本章节介绍如何在Linux平台下安装TongCDC,TongCDC为免安装版本,解压后即可使用。

  1. 前置条件:

    • 已经TongCDC安装包 tongcdc-server-2.2.tar.gz 上传至服务器
    • 已安装jdk11版本
  2. 执行如下命令,解压TongCDC安装包

    tar -zxvf  tongcdc-server-2.2.tar.gz
  3. 目录说明

    TongCDC解压后,目录下的子目录及文件,如下表所示:

    目录/文件名称说明
    binTongCDC启动/停止服务的脚本文件(Windows/Linux环境)
    confTongCDC的配置目录
    libTongCDC运行时需要的所有jar包
    logsTongCDC运行日志目录
    CDC_PWD_Tool.jarTongCDC密码加解密工具
    tongcdc-cli.jarTongCDC启动/停止指定任务的命令行工具
    obcdc_agent用于抽取OceanBase数据库的代理模块

(五)启动停止​

1. Windows平台​

  • 启动TongCDC服务

    • 进入TongCDC安装目录 ${tongcdc_home}\bin

    • 编辑启动脚本 startup.bat,将JAVA_HOME的设置为 JDK11 的安装路径

      set JAVA_HOME=<JDK11安装目录>
    • 运行TongCDC的启动脚本 startup.bat 启动TongCDC服务。

  • 停止TongCDC服务

    在TongCDC服务运行窗口,直接按下 CTRL + C ,即可终止TongCDC服务。

2. Linux平台​

  • 启动TongCDC服务

    • 进入TongCDC安装目录 ${tongcdc_home}/bin

    • 编辑启动脚本 startup.sh ,将JAVA_HOME的设置为 JDK11 的安装路径之后,保存并退出

      JAVA_HOME=<JDK11安装目录>
    • 执行如下命令启动TongCDC服务

      sh startup.sh

      若出现 for continue字样,则说明启动成功

    • 若抽取OceanBase数据库,则需要在启动TongCDC服务之前,先启动 obcdc_agent ,执行如下命令启动obcdc_agent:

      nohup ./obcdc_agent -f ob.conf -d 100000 -h 127.0.0.1 -p 5588 &
  • 停止TongCDC服务

    • 进入TongCDC安装目录 ${tongcdc_home}/bin

    • 执行如下命令停止TongCDC服务

      sh stop.sh
    • 若出现一下提示信息,则说明停止TongCDC服务成功

      host15: stopping TongCDC Server pid...
      Oook! cost:24
    • 停止obcdc_agent进程,使用如下命令:

      ps -ef | grep ob
      kill -9 <进程号>

附录A:卸载TongCDC​

TongCDC为免安装版本,解压后即可使用。若需卸载TongCDC,请先将TongCDC相关服务停止。然后直接删除安装目录即可完成TongCDC的卸载。