模拟生产环境的速率发送数据到Kafka,仅限于开发环境使用,可以测试平台对数据的吞吐量以及稳定性。
KafkaProducer需求下载安装特定库支持,windows开发环境直接cmd打开命令窗口,执行 pip install kafka-python 即可
脚本代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
from kafka import KafkaProducer
import random
import json

# 实例化一个KafkaProducer示例,用于向Kafka投递消息
producer = KafkaProducer(
value_serializer=lambda v: json.dumps(v).encode('utf-8'),
bootstrap_servers=['10.7.2.20:9092']
)
#读取样例数据
files = open("样例数据文件的目录", "r", encoding='UTF-8')
content = files.readlines()

while True :
index = random.randint(0, len(content) - 1)
producer.send("test", content[index])

producer.close()