diff --git a/src/UserGuide/Master/Table/AI-capability/TimeSeries-Large-Model_Upgrade_apache.md b/src/UserGuide/Master/Table/AI-capability/TimeSeries-Large-Model_Upgrade_apache.md index 760052da4..414e41e67 100644 --- a/src/UserGuide/Master/Table/AI-capability/TimeSeries-Large-Model_Upgrade_apache.md +++ b/src/UserGuide/Master/Table/AI-capability/TimeSeries-Large-Model_Upgrade_apache.md @@ -90,7 +90,7 @@ Toto[5][5][5][5][5][5] SHOW PIPEPLUGINS create pipe A2B with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6668', ) ``` @@ -352,17 +352,24 @@ with sink ( create pipe A2B WITH SOURCE ( 'source'= 'iotdb-source', - 'mode.streaming' = 'true' -- 新插入数据(pipe创建后)的抽取模式:是否按流式抽取(false 时为批式) - 'database-name'='testdb.*', -- 同步数据的范围 - 'start-time' = '2023.08.23T08:00:00+00:00', -- 同步所有数据的开始 event time,包含 start-time - 'end-time' = '2023.10.23T08:00:00+00:00' -- 同步所有数据的结束 event time,包含 end-time + 'mode.streaming' = 'true', + 'database-name'='testdb.*', + 'start-time' = '2023.08.23T08:00:00+00:00', + 'end-time' = '2023.10.23T08:00:00+00:00' ) with SINK ( 'sink'='iotdb-thrift-async-sink', - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6668', ) ``` +其中: + +- `mode.streaming`: 新插入数据(pipe创建后)的抽取模式:是否按流式抽取(false 时为批式) +- `database-name`: 同步数据的范围 +- `start-time`: 同步所有数据的开始 event time,包含 start-time +- `end-time`: 同步所有数据的结束 event time,包含 end-time + ### 3.3 边云数据传输 本例子用来演示多个 IoTDB 之间边云传输数据的场景,数据由 B 、C、D 集群分别都同步至 A 集群,数据链路如下图所示: @@ -376,12 +383,12 @@ with SINK ( ```SQL create pipe BA with source ( - 'database-name'='db_b.*', -- 限制范围 - 'table-name'='.*', -- 可选择匹配所有 + 'database-name'='db_b.*', + 'table-name'='.*', ) with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6667', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6667', ) ``` @@ -390,12 +397,12 @@ with sink ( ```SQL create pipe CA with source ( - 'database-name'='db_c.*', -- 限制范围 - 'table-name'='.*', -- 可选择匹配所有 + 'database-name'='db_c.*', + 'table-name'='.*', ) with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6668', ) ``` @@ -404,29 +411,34 @@ with sink ( ```SQL create pipe DA with source ( - 'database-name'='db_d.*', -- 限制范围 - 'table-name'='.*', -- 可选择匹配所有 + 'database-name'='db_d.*', + 'table-name'='.*', ) with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6669', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6669', ) ``` +前两个示例中的参数含义与此处相同: + +- `database-name`: 限制范围 +- `table-name`: 可选择匹配所有 +- `node-urls`: 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + ### 3.4 级联数据传输 本例子用来演示多个 IoTDB 之间级联传输数据的场景,数据由 A 集群同步至 B 集群,再同步至 C 集群,数据链路如下图所示: ![](/img/1706698610134.jpg) - 在 A IoTDB 上执行下列语句,将 A 中数据同步至 B: ```SQL create pipe AB with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6668', ) ``` @@ -438,10 +450,14 @@ with source ( ) with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6669', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6669', ) ``` +前一个示例中的参数含义与此处相同: + +- `node-urls`: 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + ### 3.5 压缩同步 IoTDB 支持在同步过程中指定数据压缩方式。可通过配置 `compressor` 参数,实现数据的实时压缩和传输。`compressor`目前支持 snappy / gzip / lz4 / zstd / lzma2 5 种可选算法,且可以选择多种压缩算法组合,按配置的顺序进行压缩。`rate-limit-bytes-per-second`(V1.3.3 及以后版本支持)每秒最大允许传输的byte数,计算压缩后的byte,若小于0则不限制。 @@ -451,12 +467,15 @@ IoTDB 支持在同步过程中指定数据压缩方式。可通过配置 `compre ```SQL create pipe A2B with sink ( - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url - 'compressor' = 'snappy,lz4' -- - 'rate-limit-bytes-per-second'='1048576' -- 每秒最大允许传输的byte数 + 'node-urls' = '127.0.0.1:6668', + 'compressor' = 'snappy,lz4', + 'rate-limit-bytes-per-second'='1048576' ) ``` +其中: + +- `node-urls`: 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url ### 3.6 加密同步 @@ -468,12 +487,18 @@ IoTDB 支持在同步过程中使用 SSL 加密,从而在不同的 IoTDB 实 create pipe A2B with sink ( 'sink'='iotdb-thrift-ssl-sink', - 'node-urls'='127.0.0.1:6667', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url - 'ssl.trust-store-path'='pki/trusted', -- 连接目标端 DataNode 所需的 trust store 证书路径 - 'ssl.trust-store-pwd'='root' -- 连接目标端 DataNode 所需的 trust store 证书密码 + 'node-urls'='127.0.0.1:6667', + 'ssl.trust-store-path'='pki/trusted', + 'ssl.trust-store-pwd'='root' ) ``` +其中: + +- `node-urls`: 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url +- `ssl.trust-store-path`: 连接目标端 DataNode 所需的 trust store 证书路径 +- `ssl.trust-store-pwd`: 连接目标端 DataNode 所需的 trust store 证书密码 + ## 参考:注意事项 可通过修改 IoTDB 配置文件(`iotdb-system.properties`)以调整数据同步的参数,如同步数据存储目录等。完整配置如下:: diff --git a/src/zh/UserGuide/Master/Tree/AI-capability/TimeSeries-Large-Model_Upgrade_apache.md b/src/zh/UserGuide/Master/Tree/AI-capability/TimeSeries-Large-Model_Upgrade_apache.md index 537acb5b9..b518d2b26 100644 --- a/src/zh/UserGuide/Master/Tree/AI-capability/TimeSeries-Large-Model_Upgrade_apache.md +++ b/src/zh/UserGuide/Master/Tree/AI-capability/TimeSeries-Large-Model_Upgrade_apache.md @@ -90,7 +90,7 @@ Toto[5][5] SHOW PIPEPLUGINS create pipe A2B with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6668', ) ``` @@ -386,17 +386,24 @@ with sink ( create pipe A2B WITH SOURCE ( 'source'= 'iotdb-source', - 'realtime.mode' = 'stream' -- 新插入数据(pipe创建后)的抽取模式 - 'path' = 'root.vehicle.**', -- 同步数据的范围 - 'start-time' = '2023.08.23T08:00:00+00:00', -- 同步所有数据的开始 event time,包含 start-time - 'end-time' = '2023.10.23T08:00:00+00:00' -- 同步所有数据的结束 event time,包含 end-time + 'realtime.mode' = 'stream', + 'path' = 'root.vehicle.**', + 'start-time' = '2023.08.23T08:00:00+00:00', + 'end-time' = '2023.10.23T08:00:00+00:00' ) with SINK ( 'sink'='iotdb-thrift-async-sink', - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6668', ) ``` +其中: + +- `realtime.mode`: 新插入数据(pipe创建后)的抽取模式 +- `path`: 同步数据的范围 +- `start-time`: 同步所有数据的开始 event time,包含 start-time +- `end-time`: 同步所有数据的结束 event time,包含 end-time + ### 3.3 边云数据传输 本例子用来演示多个 IoTDB 之间边云传输数据的场景,数据由 B 、C、D 集群分别都同步至 A 集群,数据链路如下图所示: @@ -410,12 +417,12 @@ with SINK ( ```SQL create pipe BA with source ( - 'inclusion'='all', -- 表示同步全量数据、元数据和权限 - 'path'='root.db.**', -- 限制范围 + 'inclusion'='all', + 'path'='root.db.**', ) with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6667', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6667', ) ``` @@ -424,12 +431,12 @@ with sink ( ```SQL create pipe CA with source ( - 'inclusion'='all', -- 表示同步全量数据、元数据和权限 - 'path'='root.db.**', -- 限制范围 + 'inclusion'='all', + 'path'='root.db.**', ) with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6668', ) ``` @@ -438,15 +445,21 @@ with sink ( ```SQL create pipe DA with source ( - 'inclusion'='all', -- 表示同步全量数据、元数据和权限 - 'path'='root.db.**', -- 限制范围 + 'inclusion'='all', + 'path'='root.db.**', ) with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6669', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6669', ) ``` +前两个示例中的参数含义与此处相同: + +- `inclusion`: 表示同步全量数据、元数据和权限 +- `path`: 限制范围 +- `node-urls`: 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + ### 3.4 级联数据传输 本例子用来演示多个 IoTDB 之间级联传输数据的场景,数据由 A 集群同步至 B 集群,再同步至 C 集群,数据链路如下图所示: @@ -461,7 +474,7 @@ with sink ( create pipe AB with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6668', ) ``` @@ -470,14 +483,19 @@ with sink ( ```SQL create pipe BC with source ( - 'forwarding-pipe-requests' = 'true' --是否转发由其他 Pipe 写入的数据 + 'forwarding-pipe-requests' = 'true' ) with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6669', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6669', ) ``` +前一个示例中的 `node-urls` 参数含义与此处相同: + +- `forwarding-pipe-requests`: 是否转发由其他 Pipe 写入的数据 +- `node-urls`: 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + ### 3.5 压缩同步 IoTDB 支持在同步过程中指定数据压缩方式。可通过配置 `compressor` 参数,实现数据的实时压缩和传输。`compressor`目前支持 snappy / gzip / lz4 / zstd / lzma2 5 种可选算法,且可以选择多种压缩算法组合,按配置的顺序进行压缩。`rate-limit-bytes-per-second`(V1.3.3 及以后版本支持)每秒最大允许传输的byte数,计算压缩后的byte,若小于0则不限制。 @@ -487,11 +505,15 @@ IoTDB 支持在同步过程中指定数据压缩方式。可通过配置 `compre ```SQL create pipe A2B with sink ( - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url - 'compressor' = 'snappy,lz4' -- 压缩算法 + 'node-urls' = '127.0.0.1:6668', + 'compressor' = 'snappy,lz4' ) ``` +其中: + +- `node-urls`: 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + ### 3.6 加密同步 IoTDB 支持在同步过程中使用 SSL 加密,从而在不同的 IoTDB 实例之间安全地传输数据。通过配置 SSL 相关的参数,如证书地址和密码(`ssl.trust-store-path`)、(`ssl.trust-store-pwd`)可以确保数据在同步过程中被 SSL 加密所保护。 @@ -502,12 +524,18 @@ IoTDB 支持在同步过程中使用 SSL 加密,从而在不同的 IoTDB 实 create pipe A2B with sink ( 'sink'='iotdb-thrift-ssl-sink', - 'node-urls'='127.0.0.1:6667', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url - 'ssl.trust-store-path'='pki/trusted', -- 连接目标端 DataNode 所需的 trust store 证书路径 - 'ssl.trust-store-pwd'='root' -- 连接目标端 DataNode 所需的 trust store 证书密码 + 'node-urls'='127.0.0.1:6667', + 'ssl.trust-store-path'='pki/trusted', + 'ssl.trust-store-pwd'='root' ) ``` +其中: + +- `node-urls`: 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url +- `ssl.trust-store-path`: 连接目标端 DataNode 所需的 trust store 证书路径 +- `ssl.trust-store-pwd`: 连接目标端 DataNode 所需的 trust store 证书密码 + ## 4. 参考:注意事项 可通过修改 IoTDB 配置文件(`iotdb-system.properties`)以调整数据同步的参数,如同步数据存储目录等。完整配置如下:: diff --git a/src/zh/UserGuide/latest-Table/AI-capability/TimeSeries-Large-Model_Upgrade_apache.md b/src/zh/UserGuide/latest-Table/AI-capability/TimeSeries-Large-Model_Upgrade_apache.md index 45ee65df6..0dcf408aa 100644 --- a/src/zh/UserGuide/latest-Table/AI-capability/TimeSeries-Large-Model_Upgrade_apache.md +++ b/src/zh/UserGuide/latest-Table/AI-capability/TimeSeries-Large-Model_Upgrade_apache.md @@ -90,7 +90,7 @@ Toto[5][5] SHOW PIPEPLUGINS create pipe A2B with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6668', ) ``` @@ -352,17 +352,24 @@ with sink ( create pipe A2B WITH SOURCE ( 'source'= 'iotdb-source', - 'mode.streaming' = 'true' -- 新插入数据(pipe创建后)的抽取模式:是否按流式抽取(false 时为批式) - 'database-name'='testdb.*', -- 同步数据的范围 - 'start-time' = '2023.08.23T08:00:00+00:00', -- 同步所有数据的开始 event time,包含 start-time - 'end-time' = '2023.10.23T08:00:00+00:00' -- 同步所有数据的结束 event time,包含 end-time + 'mode.streaming' = 'true', + 'database-name'='testdb.*', + 'start-time' = '2023.08.23T08:00:00+00:00', + 'end-time' = '2023.10.23T08:00:00+00:00' ) with SINK ( 'sink'='iotdb-thrift-async-sink', - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6668', ) ``` +其中: + +- `mode.streaming`: 新插入数据(pipe创建后)的抽取模式:是否按流式抽取(false 时为批式) +- `database-name`: 同步数据的范围 +- `start-time`: 同步所有数据的开始 event time,包含 start-time +- `end-time`: 同步所有数据的结束 event time,包含 end-time + ### 3.3 边云数据传输 本例子用来演示多个 IoTDB 之间边云传输数据的场景,数据由 B 、C、D 集群分别都同步至 A 集群,数据链路如下图所示: @@ -376,12 +383,12 @@ with SINK ( ```SQL create pipe BA with source ( - 'database-name'='db_b.*', -- 限制范围 - 'table-name'='.*', -- 可选择匹配所有 + 'database-name'='db_b.*', + 'table-name'='.*', ) with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6667', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6667', ) ``` @@ -390,12 +397,12 @@ with sink ( ```SQL create pipe CA with source ( - 'database-name'='db_c.*', -- 限制范围 - 'table-name'='.*', -- 可选择匹配所有 + 'database-name'='db_c.*', + 'table-name'='.*', ) with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6668', ) ``` @@ -404,29 +411,34 @@ with sink ( ```SQL create pipe DA with source ( - 'database-name'='db_d.*', -- 限制范围 - 'table-name'='.*', -- 可选择匹配所有 + 'database-name'='db_d.*', + 'table-name'='.*', ) with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6669', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6669', ) ``` +前两个示例中的参数含义与此处相同: + +- `database-name`: 限制范围 +- `table-name`: 可选择匹配所有 +- `node-urls`: 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + ### 3.4 级联数据传输 本例子用来演示多个 IoTDB 之间级联传输数据的场景,数据由 A 集群同步至 B 集群,再同步至 C 集群,数据链路如下图所示: ![](/img/1706698610134.jpg) - 在 A IoTDB 上执行下列语句,将 A 中数据同步至 B: ```SQL create pipe AB with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6668', ) ``` @@ -438,10 +450,14 @@ with source ( ) with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6669', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6669', ) ``` +前一个示例中的参数含义与此处相同: + +- `node-urls`: 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + ### 3.5 压缩同步 IoTDB 支持在同步过程中指定数据压缩方式。可通过配置 `compressor` 参数,实现数据的实时压缩和传输。`compressor`目前支持 snappy / gzip / lz4 / zstd / lzma2 5 种可选算法,且可以选择多种压缩算法组合,按配置的顺序进行压缩。`rate-limit-bytes-per-second`(V1.3.3 及以后版本支持)每秒最大允许传输的byte数,计算压缩后的byte,若小于0则不限制。 @@ -451,12 +467,15 @@ IoTDB 支持在同步过程中指定数据压缩方式。可通过配置 `compre ```SQL create pipe A2B with sink ( - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url - 'compressor' = 'snappy,lz4' -- - 'rate-limit-bytes-per-second'='1048576' -- 每秒最大允许传输的byte数 + 'node-urls' = '127.0.0.1:6668', + 'compressor' = 'snappy,lz4', + 'rate-limit-bytes-per-second'='1048576' ) ``` +其中: + +- `node-urls`: 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url ### 3.6 加密同步 @@ -468,12 +487,18 @@ IoTDB 支持在同步过程中使用 SSL 加密,从而在不同的 IoTDB 实 create pipe A2B with sink ( 'sink'='iotdb-thrift-ssl-sink', - 'node-urls'='127.0.0.1:6667', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url - 'ssl.trust-store-path'='pki/trusted', -- 连接目标端 DataNode 所需的 trust store 证书路径 - 'ssl.trust-store-pwd'='root' -- 连接目标端 DataNode 所需的 trust store 证书密码 + 'node-urls'='127.0.0.1:6667', + 'ssl.trust-store-path'='pki/trusted', + 'ssl.trust-store-pwd'='root' ) ``` +其中: + +- `node-urls`: 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url +- `ssl.trust-store-path`: 连接目标端 DataNode 所需的 trust store 证书路径 +- `ssl.trust-store-pwd`: 连接目标端 DataNode 所需的 trust store 证书密码 + ## 参考:注意事项 可通过修改 IoTDB 配置文件(`iotdb-system.properties`)以调整数据同步的参数,如同步数据存储目录等。完整配置如下:: diff --git a/src/zh/UserGuide/latest/AI-capability/TimeSeries-Large-Model_Upgrade_apache.md b/src/zh/UserGuide/latest/AI-capability/TimeSeries-Large-Model_Upgrade_apache.md index 45ee65df6..0dcf408aa 100644 --- a/src/zh/UserGuide/latest/AI-capability/TimeSeries-Large-Model_Upgrade_apache.md +++ b/src/zh/UserGuide/latest/AI-capability/TimeSeries-Large-Model_Upgrade_apache.md @@ -90,7 +90,7 @@ Toto[5][5] SHOW PIPEPLUGINS create pipe A2B with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6668', ) ``` @@ -386,17 +386,24 @@ with sink ( create pipe A2B WITH SOURCE ( 'source'= 'iotdb-source', - 'realtime.mode' = 'stream' -- 新插入数据(pipe创建后)的抽取模式 - 'path' = 'root.vehicle.**', -- 同步数据的范围 - 'start-time' = '2023.08.23T08:00:00+00:00', -- 同步所有数据的开始 event time,包含 start-time - 'end-time' = '2023.10.23T08:00:00+00:00' -- 同步所有数据的结束 event time,包含 end-time + 'realtime.mode' = 'stream', + 'path' = 'root.vehicle.**', + 'start-time' = '2023.08.23T08:00:00+00:00', + 'end-time' = '2023.10.23T08:00:00+00:00' ) with SINK ( 'sink'='iotdb-thrift-async-sink', - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6668', ) ``` +其中: + +- `realtime.mode`: 新插入数据(pipe创建后)的抽取模式 +- `path`: 同步数据的范围 +- `start-time`: 同步所有数据的开始 event time,包含 start-time +- `end-time`: 同步所有数据的结束 event time,包含 end-time + ### 3.3 边云数据传输 本例子用来演示多个 IoTDB 之间边云传输数据的场景,数据由 B 、C、D 集群分别都同步至 A 集群,数据链路如下图所示: @@ -410,12 +417,12 @@ with SINK ( ```SQL create pipe BA with source ( - 'inclusion'='all', -- 表示同步全量数据、元数据和权限 - 'path'='root.db.**', -- 限制范围 + 'inclusion'='all', + 'path'='root.db.**', ) with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6667', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6667', ) ``` @@ -424,12 +431,12 @@ with sink ( ```SQL create pipe CA with source ( - 'inclusion'='all', -- 表示同步全量数据、元数据和权限 - 'path'='root.db.**', -- 限制范围 + 'inclusion'='all', + 'path'='root.db.**', ) with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6668', ) ``` @@ -438,15 +445,21 @@ with sink ( ```SQL create pipe DA with source ( - 'inclusion'='all', -- 表示同步全量数据、元数据和权限 - 'path'='root.db.**', -- 限制范围 + 'inclusion'='all', + 'path'='root.db.**', ) with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6669', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6669', ) ``` +前两个示例中的参数含义与此处相同: + +- `inclusion`: 表示同步全量数据、元数据和权限 +- `path`: 限制范围 +- `node-urls`: 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + ### 3.4 级联数据传输 本例子用来演示多个 IoTDB 之间级联传输数据的场景,数据由 A 集群同步至 B 集群,再同步至 C 集群,数据链路如下图所示: @@ -461,7 +474,7 @@ with sink ( create pipe AB with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6668', ) ``` @@ -470,14 +483,19 @@ with sink ( ```SQL create pipe BC with source ( - 'forwarding-pipe-requests' = 'true' --是否转发由其他 Pipe 写入的数据 + 'forwarding-pipe-requests' = 'true' ) with sink ( 'sink'='iotdb-thrift-sink', - 'node-urls' = '127.0.0.1:6669', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + 'node-urls' = '127.0.0.1:6669', ) ``` +前一个示例中的 `node-urls` 参数含义与此处相同: + +- `forwarding-pipe-requests`: 是否转发由其他 Pipe 写入的数据 +- `node-urls`: 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + ### 3.5 压缩同步 IoTDB 支持在同步过程中指定数据压缩方式。可通过配置 `compressor` 参数,实现数据的实时压缩和传输。`compressor`目前支持 snappy / gzip / lz4 / zstd / lzma2 5 种可选算法,且可以选择多种压缩算法组合,按配置的顺序进行压缩。`rate-limit-bytes-per-second`(V1.3.3 及以后版本支持)每秒最大允许传输的byte数,计算压缩后的byte,若小于0则不限制。 @@ -487,11 +505,15 @@ IoTDB 支持在同步过程中指定数据压缩方式。可通过配置 `compre ```SQL create pipe A2B with sink ( - 'node-urls' = '127.0.0.1:6668', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url - 'compressor' = 'snappy,lz4' -- 压缩算法 + 'node-urls' = '127.0.0.1:6668', + 'compressor' = 'snappy,lz4' ) ``` +其中: + +- `node-urls`: 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url + ### 3.6 加密同步 IoTDB 支持在同步过程中使用 SSL 加密,从而在不同的 IoTDB 实例之间安全地传输数据。通过配置 SSL 相关的参数,如证书地址和密码(`ssl.trust-store-path`)、(`ssl.trust-store-pwd`)可以确保数据在同步过程中被 SSL 加密所保护。 @@ -502,12 +524,18 @@ IoTDB 支持在同步过程中使用 SSL 加密,从而在不同的 IoTDB 实 create pipe A2B with sink ( 'sink'='iotdb-thrift-ssl-sink', - 'node-urls'='127.0.0.1:6667', -- 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url - 'ssl.trust-store-path'='pki/trusted', -- 连接目标端 DataNode 所需的 trust store 证书路径 - 'ssl.trust-store-pwd'='root' -- 连接目标端 DataNode 所需的 trust store 证书密码 + 'node-urls'='127.0.0.1:6667', + 'ssl.trust-store-path'='pki/trusted', + 'ssl.trust-store-pwd'='root' ) ``` +其中: + +- `node-urls`: 目标端 IoTDB 中 DataNode 节点的数据服务端口的 url +- `ssl.trust-store-path`: 连接目标端 DataNode 所需的 trust store 证书路径 +- `ssl.trust-store-pwd`: 连接目标端 DataNode 所需的 trust store 证书密码 + ## 4. 参考:注意事项 可通过修改 IoTDB 配置文件(`iotdb-system.properties`)以调整数据同步的参数,如同步数据存储目录等。完整配置如下::