SymmetricDS

SymmetricDS is open source software for database and file synchronization, with support for multi-master replication, filtered synchronization, and transformation.

csdn 系列教程

一、Require

使用 Java 编写，所以需要 JDK。

  • Java SE Runtime Environment 7 or above
  [plaintext]
1
2
3
4
>java -version
java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) Client VM (build 24.79-b02, mixed mode, sharing)

  • Memory - 64 (MB) available

  • Disk - 256 (MB) available

二、Overview

overview

三、Architecture

数据同步步骤如下：

  1. Capture into a runtime table at the source database

  2. Route for delivery to target nodes and group into batches

  3. Extract and transform into the rows, columns, and values needed for the outgoing batch

  4. Send the outgoing batch to target nodes

  5. Receive the incoming batch at the target node

  6. Transform into the rows, columns, and values needed for the incoming batch

  7. Load data and return an acknowledgment to the source node

overview

四、Features

特性如下：

  • Data Synchronization

Change data capture for relational databases and file synchronization for file systems can be periodic or near real-time, with an initial load feature to fully populate a node.

  • Central Management

Configure, monitor, and troubleshoot synchronization from a central location where conflicts and errors can be investigated and resolved.

  • Automatic Recovery

Data delivery is durable and low maintenance, withstanding periods of downtime and automatically recovering from a network outage.

  • Secure and Efficient

Communication uses a data protocol designed for low bandwidth networks and streamed over HTTPS for encrypted transfer.

  • Transformation

Manipulate data at multiple points to filter, subset, translate, merge, and enrich the data.

  • Conflict Management

Enforce consistency of two-way synchronization by configuring rules for automatic and manual resolution.

  • Extendable

Scripts and Java code can be configured to handle events, transform data, and create customized behavior.

  • Deployment Options

The software can be installed as a self-contained server that stands alone, deployed to a web application server, or embedded within an application.

Quick Start

SymmetricDS at its core is a web application. A SymmetricDS instance runs within the context of a web application container like Jetty or Tomcat, and uses web based protocols like HTTP to communicate with other instances.

此处选择最简单的安装案例。Standalone Installation

安装SymmetricDS

零、测试环境

Windows、SQL Server、symmetric-server-3.8.22

一、下载

最新版下载地址

二、配置 数据库连接

properties file

各种数据库资源配置

  • 下载

创建2个文件夹，模拟2台机器。此处创建 Master、Slave 2个文件夹模拟。

将上面下载的压缩文件，分别解压缩到这2个文件夹中。

  • 复制配置文件。

Master\symmetric-server-3.8.22\samples\corp-000.properties 复制到主库（Master）的engines文件夹写。

Slave\symmetric-server-3.8.22\samples\store-001.properties 复制到从库（Slave）的engines文件夹写。

  • 内容配置

主要修改JDBC相关信息。其他保持默认。

当然要记得首先在对应创建对应的主从数据库用于测试。

1、corp-000.properties

  [plaintext]
1
2
3
4
5
6
7
8
9
10
11
12
13
engine.name=corp-000

# The class name for the JDBC Driver
db.driver=net.sourceforge.jtds.jdbc.Driver

# The JDBC URL used to connect to the database
db.url=jdbc:jtds:sqlserver://localhost:1433/${database_name};useCursors=true;bufferMaxMemory=10240;lobBuffer=5242880

# The user to login as who can create and update tables
db.user=XXX

# The password for the user to login as
db.password=XXX

${database_name} 请自行替换为设置的主库。

2、store-001.properties

同上。${database_name} 请自行替换为设置的从库。

三、主库相关数据库创建

后记：

以下命令都是在 bin 目录下运行的。所以找不到那些配置文件。你也可以在 samples 目录下运行，同理指定 bin 相关的命令需要正确。

1、在 Master 节点中通过执行下面的命令为item，price和sale创建样例表：

  [plaintext]
1
dbimport --engine corp-000 --format XML create_sample.xml

报错如下：

  [plaintext]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
E:\Tools\symm\Master\symmetric-server-3.8.22\bin>dbimport --engine corp-000 --fo
rmat XMLcreate_sample.xml
Log output will be written to E:\Tools\symm\Master\symmetric-server-3.8.22/logs/
symmetric.log
[] - AbstractCommandLauncher - Option: name=engine, value={corp-000}
[] - AbstractCommandLauncher - Option: name=format, value={XMLcreate_sample.xml}

[] - AbstractSymmetricEngine - Initializing connection to database
[] - JdbcDatabasePlatformFactory - Detected database 'Microsoft SQL Server', ver
sion '10', protocol 'jtds'
[] - JdbcDatabasePlatformFactory - The IDatabasePlatform being used is org.jumpm
ind.db.platform.mssql.MsSql2008DatabasePlatform
-------------------------------------------------------------------------------
An exception occurred.  Please see the following for details:
-------------------------------------------------------------------------------
java.lang.IllegalArgumentException: No enum constant org.jumpmind.symmetric.io.d
ata.DbImport.Format.XMLCREATE_SAMPLE.XML
        at java.lang.Enum.valueOf(Enum.java:236)
        at org.jumpmind.symmetric.io.data.DbImport$Format.valueOf(DbImport.java:
72)
        at org.jumpmind.symmetric.DbImportCommand.executeWithOptions(DbImportCom
mand.java:116)
        at org.jumpmind.symmetric.AbstractCommandLauncher.execute(AbstractComman
dLauncher.java:190)
        at org.jumpmind.symmetric.DbImportCommand.main(DbImportCommand.java:72)
-------------------------------------------------------------------------------

其实这个 xml 就是创建了四张表。你也可手动创建。可在samples/create_sample.xml查看表内容

或者把位置修改对。如下：

  [plaintext]
1
dbimport --engine corp-000 --format XML ../samples/create_sample.xml

执行成功可在数据库看到对应的4张表。item，item_selling_price，sale_transaction，sale_return_line_item。

2、在 Master 节点的数据库中创建 SymmetricDS 特定的数据库表。

这些表将包含同步操作的配置信息。下面的命令使用自动创建的特性创建所有必要的SymmetricDS系统表：

  [plaintext]
1
symadmin --engine corp-000 create-sym-tables

3、最后一步，执行下面的操作，加载样例商品与交易数据和 SymmetricDS 配置信息到 Master 节点的数据库：

  [plaintext]
1
dbimport --engine corp-000 ../samples/insert_sample.sql

Insert_sample.sql 文件主要分两部分，一个是往业务表里插入样例数据，另一部分是往SymmetricDS的系统表里插入本样例的系统数据。 首先创建了两个节点，然后创建了两个channel，又创建了6个trigger，接着创建了3个Router，最后创建了6个Trigger-Router Links，这里所谓的创建，其实就是往系统表里插入创建的信息而已。

四、从库相关数据库创建

在 Slave 数据库中创建对应的测试表。这里和上面一样。创建了几张测试表。

  [plaintext]
1
dbimport --engine store-001 --format XML ../samples/create_sample.xml

写到这儿。你可以去数据库看看确保所有的表都有。

五、启动 SymmetricDS

打开命令行。

  • crop

在 Master 的 bin 目录下，执行下面的命令启动 corp SymmetricDS：

这个过程会根据之前的配置文件和在 SymmetricDS 系统表中插入的数据，创建必要的 Trigger 等等的组件。然后等待其他节点的注册。

  [plaintext]
1
sym --engine corp-000 --port 31415

(如果此处的端口号修改，需要在 properties 文件中做对应修改)

  • store

在 Slave 的 bin 目录下，执行下面的命令启动 corp SymmetricDS：

这条命令，启动 SymmetricDS 程序。并根据配置信息尝试连接 crop 节点。当然，由于这时候，crop 端的注册还没开启，这时候，在 crop 端可以收到 store 上的SymmetricDS的注册请求，但是认证会失败。

  [plaintext]
1
sym --engine store-001 --port 41415

(这里我是随便指定了一个没有冲突的PORT)

六、注册节点

当一个未注册的节点启动时，它将尝试注册到registration URL指定的节点（在几乎所有的情况下，就是root节点）。

通过允许注册和为已经注册的节点返回配置信息，Registration 节点集中的管理网络上的其他节点。在本教程中，Registration节点就是 corp 节点，这个节点同时参与与其他节点的同步操作。

因此，下一步，我们需要为 store 节点打开注册，以使 store 节点可以接收到初始负载的数据，然后就可以接收来自 corp 的数据，也可以向 corp 节点发送数据。

有几种方式可以完成这个任务。我们将使用 SymmetricDS 的管理功能，在corp节点上执行一个命令（因为这个节点负责注册管理）。

1、注册节点

前面已经启动了 corp 节点和 store 节点的 SymmetricDS 应用程序，下面打开一个新的命令行提示符，进入到 corp 节点的安装副本的根目录下的 bin 目录。

  [plaintext]
1
symadmin --engine corp-000 open-registration store 001

LOG 如下

  [plaintext]
1
2
3
4
...
[corp-000] - RegistrationService - Registration was already enabled for 001.  No
 need to reenable it
Opened registration for node group of 'store' external ID of '001'

七、发起初始负载

开始我们在 crop 端的数据库的业务表上插入了几条数据，但是 store 上的数据库的业务表都是空的。

(比如 crop 端 item 表中有一条数据。而 store 没有)

既然要同步，那我们必须先把这一部分的数据同步，这一部分数据的同步就叫做同步初始负载。

要发起这个初始负载同步，要执行下面的命令，还是在 crop 的 SymmetricD 安装副本的 bin 目录下执行：

  [plaintext]
1
symadmin --engine corp-000 reload-node 001

使用这个命令之后，corp 节点排队各个 store 节点拉数据请求。数据的初始负载包括=被配置了同步的每一表中的数据。

八、数据插入测试

  • 主库插入数据
  [sql]
1
2
insert into [test_master].[dbo].[item] (item_id, name)
values (20170503, 'master-insert');

从库会随之改变。

  • 从库插入数据
  [sql]
1
2
insert into [test_slave].[dbo].[item] (item_id, name)
values (20170503, 'slave-insert');

主库不会改变。

注意</label> 1. 在主表修改数据。从表不会对应修改。 * any list {:toc}