SSL协议生产和消费消息
更新时间:2024-06-18
在 Kafka 集群所在 VPC 网络下或者公网环境访问,使用 SSL 协议接入,接入点可以在集群详情页面查看。
环境准备
- 安装C++依赖库
Shell
1yum install librdkafka-devel
- 安装PHP依赖库
Shell
1pecl install rdkafka
2# 在PHP的初始化文件php.ini中添加以下语句以开启扩展
3extension=rdkafka.so
4php -m | grep kafka
5rdkafka
- 使用php-rdkafka sdk:https://arnaud.le-blanc.net/php-rdkafka-doc/phpdoc/index.html
Shell
1$ git clone https://github.com/arnaud-lb/php-rdkafka.git
2$ cd php-rdkafka
3$ phpize
4$ ./configure
5$ make all -j 5
6$ sudo make install
集群准备
1. 购买专享版消息服务for Kafka集群
开通消息服务 for Kafka服务后,在控制台页面点击『创建集群』,即可进行购买。
2. 为购买的集群创建主题
在控制台页面点击集群名称,进入集群详情页面。
在左侧的边栏中点击『主题管理』,进入主题管理页面。
在主题管理页面点击『创建主题』,进行主题的创建。
使用步骤:
步骤一:获取集群接入点
具体请参考:接入点查看。
步骤二:下载证书文件
下载证书文件:如何下载证书?
步骤三:编写测试代码
- 需要关注并自行修改的参数
参数名 | 含义 |
---|---|
metadata.broker.list | 接入点信息 |
ssl.ca.location | ca.pem文件所在路径 |
ssl.certificate.location | client.pem文件所在路径 |
ssl.key.location | client.key文件所在路径 |
topic_name | 主题名称 |
group_id | 消费组id |
生产者代码示例
创建KafkaProducerDemo.php文件,具体代码示例如下:
Shell
1<?php
2
3$conf = new RdKafka\Conf();
4// 接入点
5$conf->set('metadata.broker.list', '接入点');
6// 接入协议
7$conf->set('security.protocol','ssl');
8// 证书文件路径(证书文件请参考"接入点查看"文档)
9$conf->set('ssl.ca.location',__DIR__.'/ssl.cert/ca.pem');
10$conf->set('ssl.certificate.location',__DIR__.'/ssl.cert/client.pem');
11$conf->set('ssl.key.location ',__DIR__.'/ssl.cert/client.key');
12
13$producer = new RdKafka\Producer($conf);
14
15// 指定topic
16$topic = $producer->newTopic("topic_name");
17
18for ($i = 0; $i < 10; $i++) {
19 // RD_KAFKA_PARTITION_UA自动选择分区,message指定想要发送的消息
20 $topic->produce(RD_KAFKA_PARTITION_UA, 0, "Message $i : php ssl");
21 $producer->poll(0);
22}
23
24for ($flushRetries = 0; $flushRetries < 10; $flushRetries++) {
25 $result = $producer->flush(10000);
26 if (RD_KAFKA_RESP_ERR_NO_ERROR === $result) {
27 break;
28 }
29}
30
31if (RD_KAFKA_RESP_ERR_NO_ERROR !== $result) {
32 throw new \RuntimeException('Was unable to flush, messages might be lost!');
33}
消费者代码示例
创建KafkaConsumerDemo.php文件,具体代码示例如下:
Shell
1<?php
2
3$conf = new RdKafka\Conf();
4// 接入协议
5$conf->set('security.protocol','ssl');
6// 证书文件路径
7$conf->set('ssl.ca.location',__DIR__.'/ssl.cert/ca.pem');
8$conf->set('ssl.certificate.location',__DIR__.'/ssl.cert/client.pem');
9$conf->set('ssl.key.location ',__DIR__.'/ssl.cert/client.key');
10// 消费组 id
11$conf->set('group.id', 'php-group');
12
13$rk = new RdKafka\Consumer($conf);
14// 接入点
15$rk->addBrokers("接入点");
16
17$topicConf = new RdKafka\TopicConf();
18$topicConf->set('auto.commit.interval.ms', 100);
19$topicConf->set('offset.store.method', 'broker');
20$topicConf->set('auto.offset.reset', 'earliest');
21
22//订阅topic
23$topic = $rk->newTopic("topic_name", $topicConf);
24
25$topic->consumeStart(0, RD_KAFKA_OFFSET_STORED);
26
27while (true) {
28 $message = $topic->consume(0, 120*10000);
29 switch ($message->err) {
30 case RD_KAFKA_RESP_ERR_NO_ERROR:
31 var_dump($message);
32 break;
33 case RD_KAFKA_RESP_ERR__PARTITION_EOF:
34 echo "No more messages; will wait for more\n";
35 break;
36 case RD_KAFKA_RESP_ERR__TIMED_OUT:
37 echo "Timed out\n";
38 break;
39 default:
40 throw new \Exception($message->errstr(), $message->err);
41 break;
42 }
43}
步骤四:编译并运行
运行上述两个代码文件。
Bash
1# 启动消费者
2php consumer.php
3# 启动生产者
4php producer.php
步骤五:查看集群监控
查看消息是否发送成功或消费成功有两种方式:
- 查看程序输出日志。
- 在专享版消息服务 for Kafka控制台查看集群监控,获取集群生产、消息情况。
推荐使用第二种方式,下面介绍如何查看集群监控。
(1)在专享版消息服务 for Kafka的控制台页面找到需要连接的集群,点击集群名称进入『集群详情』页面。
(2)页面跳转后,进入左侧边中的『集群详情』页面。
(3)点击左侧边栏中的『集群监控』,进入『集群监控』页面。
(4)通过查看『集群监控』页面,提供的不同纬度的监控信息(集群监控、节点监控、主题监控、消费组监控),即可获知集群的生产和消费情况。
集群监控的具体使用请参考:集群监控