概述

日志服务支持将百度智能云kafka和自建kafka的数据导入到日志服务，实现数据集中存储、查询分析等，挖掘日志数据价值。本文档介绍从Kafka中导入数据到日志服务的操作步骤。

费用说明

从 Kafka导入数据涉及日志服务的写流量、日志存储等计费项。具体的价格信息请参考日志服务计费说明。

Kafka任务列表

登录日志服务平台，在左侧导航栏中找到"日志管理->日志接入->数据导入->Kafka导入"，查看所有Kafka导入任务列表。支持任务名称、源Kafka集群等内容筛选。

创建Kafka导入任务

登录日志服务平台，在左侧导航栏中找到"日志管理->日志接入->数据导入->Kafka导入"，点击创建导入任务。

• 基本配置：填写日志导入任务的名称或者
• Kafka配置：可选择百度智能云kafka和自建kafka

（1）百度智能云kafka：前提需要在百度智能云kafka平台开启产品间转储开关

配置	说明
集群	选择百度智能云kafka集群，可跳转新建kafka集群
主题	选择完集群后，选择对应主题，支持多选
消费组	Kafka 消费组。如果不填，系统将自动创建 Kafka 消费组。
起始位置	数据导入的起始位置。可选值： 最早数据：从指定的 Kafka Topic 中的第一条数据开始导入。 最新数据：从指定的 Kafka Topic 中最新生成的数据开始导入。

（2）自建kafka

配置	说明
访问方式	支持公网访问，内网访问和专线内网访问
所属网络	内网访问和专线内网访问需要选择所属网络
服务地址	填写Kafka Broker 的 IP 地址和端口号或者域名和端口号，支持多个，多个服务地址之间使用半角逗号（,）分隔。
Topic	Kafka主题。多个主题之间使用半角逗号（,）分隔。
消费组	Kafka 消费组。如果不填，系统将自动创建 Kafka 消费组。
起始位置	数据导入的起始位置。可选值： 最早数据：从指定的 Kafka Topic 中的第一条数据开始导入。 最新数据：从指定的 Kafka Topic 中最新生成的数据开始导入。

• 处理配置：

kafka日志支持三种解析模式，输入样例日志（可导入kafka预览数据），可选择数据处理插件对数据进行进一步解析处理：

解析方式	说明
JSON解析	可解析Json格式日志 原始字段：默认系统字段@raw，可自定义修改 丢弃解析失败日志：开启状态，会自动丢弃解析失败的日志数据；关闭状态，日志解析失败时上传原始日志。
正则解析	通过正则表达式提取日志字段，并将日志解析为键值对形式 原始字段：默认系统字段@raw，可自定义修改 样例日志：默认从外面带过来 正则表达式：输入正则表达式，如何配置正则表达式见下方Syslog日志处理配置 日志提取字段：支持从样例日志中根据解析规则解析出来，用户需要给Value值输入自定义的Key和类型，或者自定义添加（有样例日志且在第一个位置时支持解析，其他情况只可自定义添加） 丢弃解析失败日志：开启状态，会自动丢弃解析失败的日志数据；关闭状态，日志数据解析失败时，日志解析失败时上传原始日志 保留原始字段：开启后，将保留解析前的日志原始字段
时间解析	解析日志的时间字段，如不解析则默认为系统时间 原始字段：默认系统字段@raw，可自定义修改 样例日志：默认从外面带过来 时间解析格式：配置时间解析格式则指定解析结果中的一个字段作为时间字段，您需提供该字段时间解析格式，系统将按照该格式解析日志时间，如果解析失败则使用系统时间作为日志时间。格式书写可以参考此链接：SimpleDateFormat。 ｜

查看Kafka导入任务详情

1. Kafka导入任务创建成功后，在“日志接入->数据导入->Kafka导入”页。
2. 默认显示所有的Kafka导入任务；可自定义筛选
3. 点击传输任务名称，进入该Kafka导入任务详情页

编辑、删除、暂停或启动Kafka导入任务

1. Kafka导入任务创建成功后，在“日志接入->数据导入->Kafka导入”页。
2. 找到对应Kafka导入任务点击编辑、暂停或启动进行编辑、删除、暂停或启动操作。