Merge pull request #28 from QQDQ/main

update data processing source
emqx · Dec 4, 2023 · 5d6a447 · 5d6a447
2 parents cd53be0 + 6f9a34f
commit 5d6a447
Show file tree

Hide file tree

Showing 48 changed files with 669 additions and 829 deletions.
diff --git a/directory.json b/directory.json
@@ -553,6 +553,10 @@
                 }
               ]
             },
+            {
+              "title": "Neuron",
+              "path": "streaming-processing/neuron"
+            },
             {
               "title": "MQTT",
               "path": "streaming-processing/mqtt"
@@ -570,34 +574,33 @@
               "path": "streaming-processing/memory"
             },
             {
-              "title": "Neuron",
-              "path": "streaming-processing/neuron"
+              "title": "SQL",
+              "path": "streaming-processing/sql"
             },
             {
               "title": "文件",
               "path": "streaming-processing/file"
             },
-            {
-              "title": "SQL",
-              "path": "streaming-processing/sql"
-            },
             {
               "title": "Video",
               "path": "streaming-processing/video"
-            },
-            {
-              "title": "Redis",
-              "path": "streaming-processing/redis"
             }
           ]
         },
         {
-          "title": "规则管理",
-          "path": "streaming-processing/rules"
-        },
-        {
-          "title": "规则管道",
-          "path": "streaming-processing/rule_pipeline"
+          "title": "规则",
+          "path": "streaming-processing/rules",
+          "collapsed": true,
+          "children": [
+            {
+              "title": "规则管理",
+              "path": "streaming-processing/rule_status"
+            },
+            {
+              "title": "规则流水线",
+              "path": "streaming-processing/rule_pipeline"
+            }
+          ]
         },
         {
           "title": "动作(Sink)",
@@ -623,14 +626,6 @@
                   "title": "REST",
                   "path": "streaming-processing/sink/rest"
                 },
-                {
-                  "title": "Redis",
-                  "path": "streaming-processing/sink/redis"
-                },
-                {
-                  "title": "文件",
-                  "path": "streaming-processing/sink/file"
-                },
                 {
                   "title": "内存",
                   "path": "streaming-processing/sink/memory"
@@ -639,25 +634,25 @@
                   "title": "Log",
                   "path": "streaming-processing/sink/log"
                 },
-                {
-                  "title": "Nop",
-                  "path": "streaming-processing/sink/nop"
-                },
                 {
                   "title": "SQL",
                   "path": "streaming-processing/sink/sql"
                 },
                 {
-                  "title": "InfluxDB",
+                  "title": "InfluxDB V1",
                   "path": "streaming-processing/sink/influx"
                 },
                 {
                   "title": "InfluxDB V2",
                   "path": "streaming-processing/sink/influx2"
                 },
                 {
-                  "title": "Kafka",
-                  "path": "streaming-processing/sink/kafka"
+                  "title": "文件",
+                  "path": "streaming-processing/sink/file"
+                },
+                {
+                  "title": "Nop",
+                  "path": "streaming-processing/sink/nop"
                 }
               ]
             }

diff --git a/en_US/streaming-processing/file.md b/en_US/streaming-processing/file.md
@@ -68,8 +68,6 @@ ECP Edge 目前支持两种方式上传配置文件：上传文件或者提供
 - **时间戳格式**：指定时间戳格式。
 - **共享**：勾选确认是否共享源。
 
-您也可选择通过文本模式进行上述配置，通过 SQL 定义。
-
 ## 创建扫描表
 
 File 源支持查询表。登录 ECP Edge，点击**数据流处理** -> **源管理**。在**扫描表**页签，点击**创建扫描表**。
@@ -87,15 +85,6 @@ File 源支持查询表。登录 ECP Edge，点击**数据流处理** -> **源
 
 - **保留大小**：指定表快照的大小，用于存储历史数据。
 
-您也可选择通过文本模式进行配置，通过 SQL 定义，例如
-
-```sql
-CREATE TABLE table1 (
-    name STRING,
-    size BIGINT,
-    id BIGINT
-) WITH (DATASOURCE="lookup.json", FORMAT="json", TYPE="file");
-```
 
 ## 示例
 

diff --git a/en_US/streaming-processing/http_pull.md b/en_US/streaming-processing/http_pull.md
@@ -43,7 +43,7 @@ ECP Edge 默认支持 HTTP Pull 源，该支持可从 HTTP 服务器代理提取
 
   - **跳过证书验证**：控制是否跳过证书认证。如设置为 True，将跳过证书认证；否则进行证书验证。
 
-  - **HTTP 标头**： 需要与 HTTP 请求一起发送的 HTTP 请求标头。可通过文本模式或可视化模式进行配置。
+  - **HTTP 标头**： 需要与 HTTP 请求一起发送的 HTTP 请求标头。
 
   - **响应类型**： 响应类型,可以是 `code` 或者 `body`，如果是 `code`，那么 ECP Edge 会检查 HTTP 响应码来判断响应状态。如果是 `body`，那么 ECP Edge 会检查 HTTP 响应正文，要求其为 JSON 格式，并且检查 code 字段的值。
 
@@ -83,8 +83,6 @@ HTTP Pull 源支持查询表。登录 ECP Edge，点击**数据流处理** -> **
 
 - **保留大小**：指定保留大小。
 
-您也可选择通过文本模式进行配置，通过 SQL 定义。
-
 ## OAuth
 
 定义类 OAuth 的认证流程。其他的认证方式如 apikey 可以直接在 headers 设置密钥，不需要使用这个配置。

diff --git a/en_US/streaming-processing/http_push.md b/en_US/streaming-processing/http_push.md
@@ -74,4 +74,3 @@ HTTP Push 源支持查询表。登录 ECP Edge，点击**数据流处理** -> **
 
 - **保留大小**：指定保留大小。
 
-您也可选择通过文本模式进行配置，通过 SQL 定义。
diff --git a/en_US/streaming-processing/memory.md b/en_US/streaming-processing/memory.md
@@ -25,7 +25,6 @@
 - **时间戳格式**：指定时间戳格式。
 - **共享**：勾选确认是否共享源。
 
-您也可选择通过文本模式进行配置，通过 SQL 定义。
 
 ## 主题通配符
 
@@ -56,7 +55,6 @@
 
 - **保留大小**：指定保留大小。
 
-您也可选择通过文本模式进行配置，通过 SQL 定义。
 
 ## 创建查询表
 
@@ -77,9 +75,3 @@
 
 - **主键**：指定主键。
 
-您也可选择通过文本模式进行配置，通过 SQL 定义，例如：
-
-```sql
-CREATE TABLE alertTable() WITH (DATASOURCE="topicName", TYPE="memory", KIND="lookup", KEY="id")
-```
-
diff --git a/en_US/streaming-processing/mqtt.md b/en_US/streaming-processing/mqtt.md
@@ -64,5 +64,3 @@ MQTT 源支持查询表。登录 ECP Edge，点击**数据流处理** -> **源
   - 如选择 delimited，还应配置分隔符，如 ","
 
 - **保留大小**：指定保留大小。
-
-您也可选择通过文本模式进行配置，通过 SQL 定义。
diff --git a/en_US/streaming-processing/neuron.md b/en_US/streaming-processing/neuron.md
@@ -80,4 +80,3 @@ MQTT 源支持查询表。登录 ECP Edge，点击**数据流处理** -> **源
 
 - **保留大小**：指定保留大小。
 
-您也可选择通过文本模式进行配置，通过 SQL 定义。
diff --git a/en_US/streaming-processing/sink/sink.md b/en_US/streaming-processing/sink/sink.md
@@ -10,7 +10,6 @@
 - [Neuron](./neuron.md)：输出到本地的 Neuron 实例。
 - [EdgeX](./edgex.md)：输出到 EdgeX Foundry。此动作仅在启用 edgex 编译标签时存在。
 - [Rest](./rest.md)：输出到外部 http 服务器。
-- [Redis](./redis.md): 写入 Redis 。
 - [File](./file.md)： 写入文件。
 - [Memory](./memory.md)：输出到 eKuiper 内存主题以形成规则管道。
 - [Log](./log.md)：写入日志，通常只用于调试。

diff --git a/zh_CN/admin/log-management.md b/zh_CN/admin/log-management.md
@@ -76,7 +76,7 @@ NeuronEX 支持开启/关闭某个驱动节点的 debug 日志，方便用户调
  tail -f tail -f modbus-plus-tcp.log
 ```
 
-数据处理引擎日志查看命令为
+数据处理模块日志查看命令为
 
 ```shell
   tail -f /opt/neuronex/software/ekuiper/log/stream.log

diff --git a/zh_CN/streaming-processing/_assets/config_sink.png b/zh_CN/streaming-processing/_assets/config_sink.png
diff --git a/zh_CN/streaming-processing/_assets/config_source.png b/zh_CN/streaming-processing/_assets/config_source.png
diff --git a/zh_CN/streaming-processing/_assets/install_sql_source.png b/zh_CN/streaming-processing/_assets/install_sql_source.png
diff --git a/zh_CN/streaming-processing/_assets/neuron_dataprocessing.png b/zh_CN/streaming-processing/_assets/neuron_dataprocessing.png
diff --git a/zh_CN/streaming-processing/_assets/rule_list.png b/zh_CN/streaming-processing/_assets/rule_list.png
diff --git a/zh_CN/streaming-processing/_assets/source_datastructure.png b/zh_CN/streaming-processing/_assets/source_datastructure.png
diff --git a/zh_CN/streaming-processing/_assets/source_neuronStream.png b/zh_CN/streaming-processing/_assets/source_neuronStream.png
diff --git a/zh_CN/streaming-processing/config.md b/zh_CN/streaming-processing/config.md
@@ -1,19 +1,22 @@
 # 配置
 
-本页面介绍如何进行资源配置，如配置组和传输与存储模版、连接、模式以及文件管理。
+本页面介绍如何进行资源配置以及模式配置。
 
 ## 资源
 
-资源包括源配置组和传输与存储模版两部分内容。
+资源包括`源配置组`和`传输与存储模版`两部分内容。
 
 ### 源配置组
 
 每个源都会有自己的配置文件，用户在创建流/表时可同步进行相应配置。您可在**数据流处理** -> **配置** -> **资源** 的**源配置组**页签查看已添加的配置，编辑相关操作，或删除配置组，也可点击右上角的**添加配置组**按钮进行添加。
 
+<img src="./_assets/config_source.png" alt="config_source" style="zoom:100%;" />
 
 ### 传输与存储模版
 
-每个 Sink （数据汇）对应的传输与存储模版，您可在**数据流处理** -> **配置** -> **资源** 的**传输与存储模版**页签查看已添加的配置，编辑相关操作，或删除配置组，也可点击右上角的**添加传输与存储模版**按钮进行添加。
+每个动作(Sink)对应的传输与存储模版，您可在**数据流处理** -> **配置** -> **资源** 的**传输与存储模版**页签查看已添加的配置，编辑相关操作，或删除配置组，也可点击右上角的**添加传输与存储模版**按钮进行添加。
+
+<img src="./_assets/config_sink.png" alt="config_sink" style="zoom:100%;" />
 
 ## 模式
 

diff --git a/zh_CN/streaming-processing/file.md b/zh_CN/streaming-processing/file.md
@@ -7,10 +7,9 @@
 <!--创建表部分需要一个sql示例。-->
 
 
+NeuronEX 数据处理模块通过 `File` 类型的数据源，可以接收来自文件的数据。File 类型可以作为流、扫描表的数据源，支持监控文件或文件夹。当监控对象为文件夹时，NeuronEX 会按照文件名的字母顺序来读取文件。
 
-NeuronEX 默认支持 File 类型数据源，File 类型可以作为流、扫描表的数据源，支持监控文件或文件夹。当监控对象为文件夹时，NeuronEX 会按照文件名的字母顺序来读取文件。
 ::: tip
-
 如果被监控的位置是一个文件夹，该文件夹内的文件类型必须相同。
 :::
 
@@ -22,7 +21,7 @@ NeuronEX 默认支持 File 类型数据源，File 类型可以作为流、扫描
 
 有些文件可能有大部分数据是标准格式，但在文件的开头和结尾行有一些元数据。用户可以使用 **文件开头忽略的行数**（`ignoreStartLines`） 和 文件结尾忽略的行数 (`ignoreEndLines`) 参数来删除非标准的开头和结尾的非标准部分，以便解析上述文件类型。
 
-## 准备文件
+<!-- ## 准备文件
 
 登录 NeuronEX，点击**数据流处理** -> **配置** -> **文件管理**，点击**创建文件**按钮。
 
@@ -32,7 +31,7 @@ NeuronEX 目前支持两种方式上传配置文件：上传文件或者提供
 
 ```
 /opt/neuron/ekuiper/data/uploads/my.json
-```
+``` -->
 
 ## 创建流
 
@@ -41,9 +40,7 @@ NeuronEX 目前支持两种方式上传配置文件：上传文件或者提供
 在弹出的**源管理** / **创建**页面，进入如下配置：
 
 - **流名称**：输入流名称
-- **是否为带结构的流**：勾选确认是否为带结构的流，如为带结构的流，则需进一步添加流字段
-  - **名称**：字段名称
-  - **类型**：支持 bigint、float、string、datetime、boolean、array、struct、bytea
+- **是否为带结构的流**：勾选确认是否为带结构的流，如为带结构的流，则需进一步添加流字段。可默认不勾选。
 - **流类型**：选择 file。
 - **数据源**：指定文件或目录的相对地址。注：请输入不含路径的文件名，例如 `my.json`。
 - **配置组**：可使用默认配置组，如希望自定义配置组，可点击添加配置组按钮，在弹出的对话框中进行如下设置，设置完成后，可点击**测试连接**进行测试：
@@ -59,41 +56,21 @@ NeuronEX 目前支持两种方式上传配置文件：上传文件或者提供
   - **文件开头忽略的行数**：忽略文件开头的几行。例如，如果设置为 3，那么文件的前三行将被忽略。
   - **文件结尾忽略的行数**: 忽略文件结尾的几行。注意，文件的最后空行不计算在内。
 - **流格式**：支持 json、binary、protobuf、delimited、custom。
-  - 如选择 protobuf 或 custom，还应配置对应的[模式和模式消息](./config.md#模式)
-  - 如选择 delimited，还应配置分隔符，如 ","
 
-- **时间戳字段**：指定代表时间的字段。
-- **时间戳格式**：指定时间戳格式。
 - **共享**：勾选确认是否共享源。
 
-您也可选择通过文本模式进行上述配置，通过 SQL 定义。
-
 ## 创建扫描表
 
-File 源支持查询表。登录 NeuronEX，点击**数据流处理** -> **源管理**。在**扫描表**页签，点击**创建扫描表**。
+File 源支持扫描表。登录 NeuronEX，点击**数据流处理** -> **源管理**。在**扫描表**页签，点击**创建扫描表**。
 
 - **表名称**：输入表名称
-- **是否为带结构的表**：勾选确认是否为带结构的表，如为带结构的表，则需进一步添加表字段
-  - **名称**：字段名称
-  - **类型**：支持 bigint、float、string、datetime、boolean、array、struct、bytea
+- **是否为带结构的表**：勾选确认是否为带结构的表，如为带结构的表，则需进一步添加表字段。可默认不勾选。
 - **表类型**：选择 file。
 - **数据源**：指定文件或目录的相对地址。注：请输入不含路径的文件名，例如 test.json。
 - **配置组**：可使用默认配置组，如希望自定义配置组，可参考[创建流](#创建流)部分
 - **表格式**：支持 json、binary、delimited、custom。
-  - 如选择 custom，还应配置对应的[模式和模式消息](./config.md#模式)
-  - 如选择 delimited，还应配置分隔符，如 ","
-
 - **保留大小**：指定表快照的大小，用于存储历史数据。
 
-您也可选择通过文本模式进行配置，通过 SQL 定义，例如
-
-```sql
-CREATE TABLE table1 (
-    name STRING,
-    size BIGINT,
-    id BIGINT
-) WITH (DATASOURCE="lookup.json", FORMAT="json", TYPE="file");
-```
 
 ## 示例
Original file line number	Diff line number	Diff line change
Expand Up		@@ -74,4 +74,3 @@ HTTP Push 源支持查询表。登录 ECP Edge，点击数据流处理 -> **

		- 保留大小：指定保留大小。

		您也可选择通过文本模式进行配置，通过 SQL 定义。
Original file line number	Diff line number	Diff line change
Expand Up		@@ -64,5 +64,3 @@ MQTT 源支持查询表。登录 ECP Edge，点击数据流处理 -> **源
		- 如选择 delimited，还应配置分隔符，如 ","

		- 保留大小：指定保留大小。

		您也可选择通过文本模式进行配置，通过 SQL 定义。
Original file line number	Diff line number	Diff line change
Expand Up		@@ -80,4 +80,3 @@ MQTT 源支持查询表。登录 ECP Edge，点击数据流处理 -> **源

		- 保留大小：指定保留大小。

		您也可选择通过文本模式进行配置，通过 SQL 定义。