Skip to content

Latest commit

 

History

History
151 lines (89 loc) · 3.48 KB

rdbwriter.md

File metadata and controls

151 lines (89 loc) · 3.48 KB
Raw

MySQL写入插件（*writer）

1. 配置样例

{
    "job": {
        "content": [{
            "reader": {},
            "writer": {
                "name": "*writer",

                "parameter": {
                    "connection": [{
                        "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/test?useCursorFetch=true",
                        "table": [
                            "tableTest"
                        ]
                    }],
                    "username": "username",
                    "password": "password",
                    "column": [],

                    "writeMode": "insert",
                    "batchSize": 1024,
                    "preSql": "",
                    "postSql": "",
                    "updateKey": ""
                }
            }
        }]
    },
    "setting": {}
}

2. 参数说明

  • name

    • 描述：插件名，此处可填写：mysqlwriter，oraclewriter，sqlserverwriter，postgresqlwriter，db2writer，gbasewriter

    • 必选：是

      默认值：无

  • jdbcUrl

    • 描述：针对关系型数据库的jdbc连接字符串

    • 必选：是

    • 默认值：无

  • username

    • 描述：数据源的用户名

    • 必选：是

    • 默认值：无

  • password

    • 描述：数据源指定用户名的密码

    • 必选：是

    • 默认值：无

  • column

    • 描述：目的表需要写入数据的字段,字段之间用英文逗号分隔。例如: "column": ["id","name","age"]。

    • 必选：是

    • 默认值：否

    • 默认值：无

  • preSql

    • 描述：写入数据到目的表前，会先执行这里的一组标准语句。

    • 必选：否

    • 默认值：无

  • postSql

    • 描述：写入数据到目的表后，会执行这里的一组标准语句。

    • 必选：否

    • 默认值：无

  • table

    • 描述：目的表的表名称。目前只支持配置单个表，后续会支持多表。

    • 必选：是

    • 默认值：无

  • writeMode

    • 描述：控制写入数据到目标表采用 insert into 或者 replace into 或者 ON DUPLICATE KEY UPDATE 语句

    • 必选：是

    • 所有选项：insert/replace/update

    • 默认值：insert

  • batchSize

    • 描述：一次性批量提交的记录数大小，该值可以极大减少FlinkX与数据库的网络交互次数，并提升整体吞吐量。但是该值设置过大可能会造成FlinkX运行进程OOM情况。

    • 必选：否

    • 默认值：1024

  • updateKey

    • 描述：当写入模式为update和replace时，需要指定此参数的值为唯一索引字段。

    • 注意：

      • 如果此参数为空，并且写入模式为update和replace时，应用会自动获取数据库中的唯一索引；

      • 如果数据表没有唯一索引，但是写入模式配置为update和replace，应用会以insert的方式写入数据；

    • 必选：否

    • 默认值：无

  • insertSqlMode

    • 描述：控制写入数据到目标表采用 COPY table_name [ ( column_name [, ...] ) ] FROM STDIN DELIMITER 'delimiter_character'语句，提高数据的插入效率

    • 注意：

      • 此参数只针对PostgreSQL写入插件有效

      • 目前该参数值固定传入 copy，否则抛出提示为not support insertSqlMode的RuntimeException

      • 当指定此参数时，writeMode的值必须为 insert，否则设置无效

    • 必选：否

    • 默认值：无