kafka3.0安装+Kafka REST Proxy配置

先安装jdk11

1，下载kafka安装包

解压Kafka包
下载完成后，使用合适的命令或工具解压Kafka二进制包到你选择的目录。例如

tar -zxvf kafka_2.13-3.8.0.tgz
cd kafka_2.13-3.8.0

2，配置启动ZooKeeper

配置ZooKeeper

Kafka包内包含了一个单节点的ZooKeeper配置。编辑config/zookeeper.properties文件（如果需要的话）来设置ZooKeeper的数据目录等配置。

dataDir=/path/to/zookeeper-data
clientPort=2181
maxClientCnxns=0

创建ZooKeeper的systemd服务文件 路径别忘修改

vim /etc/systemd/system/zookeeper.service
[Unit]
Description=Apache ZooKeeper server
Documentation=http://zookeeper.apache.org
Requires=network.target
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

启动zookeeper

sudo systemctl enable zookeeper.service --now

3,配置Kafka

在启动Kafka之前，需要适当配置config/server.properties文件。最重要的是设置broker.id（每个Kafka节点的唯一标识）和zookeeper.connect（ZooKeeper连接字符串）参数。

broker.id=0
zookeeper.connect=localhost:2181
log.dirs=/path/to/kafka-logs

创建Kafka的systemd服务文件 路径别忘修改

vim /etc/systemd/system/kafka.service
[Unit]
Description=Apache Kafka server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service
After=zookeeper.service

[Service]
Type=simple
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh
Restart=on-failure

启动kafka

sudo systemctl enable kafka.service --now

---

搭建 Kafka REST Proxy 是实现 Kafka 数据通过 HTTP/HTTPS 访问的一种方式。Confluent 提供的 Kafka REST Proxy 允许您使用 HTTP/HTTPS 协议对 Kafka 集群进行生产和消费操作。以下是基于 Confluent 平台搭建 Kafka REST Proxy 的基本步骤：

前提条件

• 确保已经有可用的 Kafka 集群。
• 安装了 Java 环境，因为 Kafka 和 Confluent 平台都是 Java 应用。

步骤 1: 下载 Confluent 平台

可以从 Confluent 官网下载 Confluent 平台的最新版本。例如，通过 wget 下载 tar 包：

wget https://packages.confluent.io/archive/7.0/confluent-7.0.1.tar.gz

解压下载的文件：

tar -xzf confluent-7.0.1.tar.gz
cd confluent-7.0.1

步骤 2: 配置 Kafka REST Proxy

在启动 Kafka REST Proxy 之前，您可能需要根据 Kafka 集群的配置来修改 Kafka REST Proxy 的配置文件。配置文件通常位于：

etc/kafka-rest/kafka-rest.properties

编辑 kafka-rest.properties 文件，至少需要设置以下几个配置项：

• bootstrap.servers: 指定 Kafka 集群的地址。
• schema.registry.url: 如果您使用的是 Avro 序列化方式，需要指定 Schema Registry 的地址。

例如：

bootstrap.servers=PLAINTEXT://localhost:9092
schema.registry.url=http://localhost:8081

配置kafka-rest systemd服务

在 /etc/systemd/system/ 目录下创建一个名为 kafka-rest.service 的文件路径别忘修改：

sudo vim /etc/systemd/system/kafka-rest.service

[Unit]
Description=Confluent Kafka REST Proxy
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/confluent-7.0.1/bin/kafka-rest-start /usr/local/confluent-7.0.1/etc/kafka-rest/kafka-rest.properties
ExecStop=/usr/local/confluent-7.0.1/bin/kafka-rest-stop
Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target

启动 Kafka REST Proxy 服务

sudo systemctl enable kafka-rest.service --now

示例 创建一个 grafana1 的topic
./kafka-topics.sh --create --topic grafana1 --bootstrap-server 192.168.137.128:9092 --replication-factor 1 --partitions 1

步骤 3: 验证 Kafka REST Proxy

启动 Kafka REST Proxy 后，您可以使用 curl 或其他工具来验证它是否正常工作。例如，获取 Kafka 集群中的主题列表：

curl -X GET "http://localhost:8082/topic/grafana1"

注意事项

• 根据具体情况调整配置文件中的其他配置项，例如，监听端口、日志目录等。
• Kafka REST Proxy 默认监听 8082 端口，确保这个端口在服务器上是可用的。
• 如果您的 Kafka 集群启用了安全配置（如 SASL/SSL），您还需要在 kafka-rest.properties 配置文件中进行相应的配置。

以上就是基于 Confluent 平台搭建 Kafka REST Proxy 的基本步骤。更多详细信息和高级配置，请参考 Confluent 官方文档。