Flink
更新时间:2025-05-29
使用 Flink Doris Connector 可以实时的将 Flink 产生的数据(如:Flink 读取 Kafka,MySQL 中的数据)导入到 PALO 中。
使用限制
需要依赖用户部署的 Flink 集群。
使用 Flink 导入数据
使用 Flink 导入数。在以下步骤中,演示如何通过 Flink 快速导入数据。
第 1 步:创建表
SQL
1CREATE TABLE `students` (
2 `id` INT NULL,
3 `name` VARCHAR(256) NULL,
4 `age` INT NULL
5) ENGINE=OLAP
6UNIQUE KEY(`id`)
7COMMENT 'OLAP'
8DISTRIBUTED BY HASH(`id`) BUCKETS 1
9PROPERTIES (
10"replication_allocation" = "tag.location.default: 1"
11);
第 2 步:使用 Flink 导入数据
运行 bin/sql-client.sh 打开 FlinkSQL 的控制台
SQL
1CREATE TABLE student_sink (
2 id INT,
3 name STRING,
4 age INT
5 )
6 WITH (
7 'connector' = 'doris',
8 'fenodes' = '10.16.10.6:28737',
9 'table.identifier' = 'test.students',
10 'username' = 'root',
11 'password' = '',
12 'sink.label-prefix' = 'doris_label'
13);
14
15INSERT INTO student_sink values(1,'zhangsan',123)
第 3 步:检查导入数据
SQL
1select * from test.students;
2+------+----------+------+
3| id | name | age |
4+------+----------+------+
5| 1 | zhangsan | 123 |
6+------+----------+------+