搜索本产品文档关键词
VPC网络SASL_PLAINTEXT方式生产和消费消息
所有文档
menu

消息服务 for Kafka

VPC网络SASL_PLAINTEXT方式生产和消费消息

在同 VPC 网络下访问,使用 SASL_PLAINTEXT 协议接入,接入点可以在 集群详情 页面查看。

环境准备

  1. 安装 Python
  2. 安装 pip
  3. 运行如下命令下载confluent-kafka依赖。
Shell
1pip install confluent-kafka

集群准备

1. 购买专享版消息服务for Kafka集群

开通消息服务 for Kafka服务后,在控制台页面点击『创建集群』,即可进行购买。

.jpeg

2. 为购买的集群创建主题

在控制台页面点击集群名称,进入集群详情页面。

在左侧的边栏中点击『主题管理』,进入主题管理页面。

.jpeg

在主题管理页面点击『创建主题』,进行主题的创建。

使用步骤:

步骤一:获取集群接入点

具体请参考:接入点查看

步骤二:编写测试代码

  • 需要关注并自行修改的参数
  • 认证机制支持PLAIN、SCRAM-SHA-512两种机制,根据集群所使用的认证方式进行选择
参数名
含义
bootstrap.servers 接入点信息
topic_name 主题名称
message 消息的具体内容
sasl.username 用户管理中创建用户的用户名
sasl.password 用户管理中创建用户的密码
group.id 消费组id

生产者代码示例

创建KafkaProducerDemo.py文件,具体代码示例如下:

Python
1from confluent_kafka import Producer
2
3producer = Producer({
4    # 接入点
5    'bootstrap.servers':'接入点',
6    # 接入协议
7    'security.protocol':'SASL_PLAINTEXT',
8    # 'ssl.endpoint.identification.algorithm': 'none',
9    # 'ssl.ca.location':'client.truststore.pem',
10    # SASL 机制
11    'sasl.mechanism':'SCRAM-SHA-512',
12    # SASL 用户名
13    'sasl.username':'username',
14    # SASL 用户密码
15    'sasl.password':'password'
16})
17
18def callback_msg(err, msg):
19    if err is not None:
20        print('send failed:{}'.format(err))
21    else:
22        print('send success:{}'.format(msg.topic(),msg.partition()))
23
24for _ in range(100):
25    # 第一个参数topic_name填写创建的主题名称,第二个参数message写需要发送的消息内容
26    producer.produce('topic_name', "message".encode('utf-8'), callback = callback_msg)
27    producer.poll(0)
28    
29producer.flush()

消费者代码示例

创建KafkaConsumerDemo.py文件,具体代码示例如下:

Python
1from confluent_kafka import Consumer
2
3consumer = Consumer({
4    # 接入点
5    'bootstrap.servers':'接入点',
6    # 接入协议
7    'security.protocol':'SASL_PLAINTEXT',
8    # 'ssl.endpoint.identification.algorithm':'none',
9    # 证书文件路径
10    # 'ssl.ca.location':'client.truststore.pem',
11    # SASL 机制
12    'sasl.mechanism':'SCRAM-SHA-512',
13    # SASL 用户名
14    'sasl.username':'username',
15    # SASL 用户密码
16    'sasl.password':'password',
17    # 消费组id
18    'group.id':'test_group',
19    'auto.offset.reset':'latest',
20    'fetch.message.max.bytes':'1024*512',
21})
22
23# 订阅的主题名称
24consumer.subscribe(['topic_name'])
25
26while True:
27    msg = consumer.poll(1.0)
28
29    if msg is None:
30        continue
31    if msg.error():
32        print("Consumer error: {}".format(msg.error()))
33        continue
34
35    print('Received message: {}'.format(msg.value().decode('utf-8')))
36
37consumer.close()

步骤三:编译并运行

运行上述两个代码文件。

Bash
1# 启动消费者
2python KafkaConsumerDemo.py
3# 启动生产者
4python KafkaProducerDemo.py

步骤四:查看集群监控

查看消息是否发送成功或消费成功有两种方式:

  1. 查看程序输出日志。
  2. 在专享版消息服务 for Kafka控制台查看集群监控,获取集群生产、消息情况。

推荐使用第二种方式,下面介绍如何查看集群监控。

(1)在专享版消息服务 for Kafka的控制台页面找到需要连接的集群,点击集群名称进入『集群详情』页面。

.jpeg

(2)页面跳转后,进入左侧边中的『集群详情』页面。

.jpeg

(3)点击左侧边栏中的『集群监控』,进入『集群监控』页面。

.jpeg

(4)通过查看『集群监控』页面,提供的不同纬度的监控信息(集群监控、节点监控、主题监控、消费组监控),即可获知集群的生产和消费情况。

集群监控的具体使用请参考:集群监控

.jpeg

上一篇
公网SASL_SSL方式生产和消费消息
下一篇
SSL协议生产和消费消息