用 golang 来编写压测工具

之前在项目中做服务端性能测试,一般用的都是 LoadRunner,或者 jmeter。随着接触的项目越来越多,各种各样的代码都有,光传输协议,就有 HTTP,TCP,UDP。有时数据传的不是明文,可能是 protobuf,也可能是 RSA 加密后的密文。继续用 LR 或 jmeter,有点难以招架。

于是,我开始关注 Locust 这个压测工具。与 LR 使用的 C 和 jmeter 使用的 Java 相比,Locust 使用 Python 来编写压测代码,代码量会少很多。且 Locust 本身的概念少,学习成本较低,上手很快。

在实现并发方面,Locust 并没有使用进程、线程来实现,事实上,CPython 的实现也对多线程不友好。于是,Locust 使用 gevent 提供的非阻塞 IO,和 coroutine来实现网络层的并发请求。实际使用中,使用 Locust 编写的压测脚本,单个实例,可以提供 1000 rps 左右的压力,如果还需要更多的压力,挂多几个 slave,也能满足需求。不过我生性爱折腾,一直想着摆脱 CPython 的 GIL,和 gevent 的 monkey_patch(),过年在家无聊,就一直在构思着怎样实现一个性能更好的施压端,用golang 提供的 goroutine,应该是个不错的选择。

Locust 已经实现了 master & slave 的架构,一个 Locust 进程如果运行在 master 模式,那它要做的事情,就只是收集各个 slave 汇报上来的信息,并展示在 web界面上而已。我的想法很简单,用 golang 来实现 slave 这一部分。实现为一个框架,在运行时,按需创建 goroutine 来跑调用方提供的 function,然后定时将信息汇报给 Locust 的 master。

过年回来撸了一周,最后弄了一个 boomer ,已开源。参考 Locust 的 slave 部分代码来实现的,连文件的命名都一致,应该很容易理解。与 Locust 最大的区别,就是用 goroutine,取代了 gevent。golang 本身的性能,也是一个优势。

用 boomer 来编写一个简单的 http 压测例子。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
package main

import boomer "github.com/myzhan/boomer"

import (
"time"
"net/http"
"log"
)


func now() int64 {
return time.Now().UnixNano() / int64(time.Millisecond)
}


func test_http() {
/*
一个常规的 HTTP GET 操作,实际使用时,这里放业务自身的处理过程
只要将处理结果,通过 boomer 暴露出来的函数汇报就行了
请求成功,类似 Locust 的 events.request_success.fire
boomer.Events.Publish("request_success", type, name, 处理时间, 响应耗时)
请求失败,类似 Locust 的 events.request_failure.fire
boomer.Events.Publish("request_failure", type, name, 处理时间, 错误信息)
*/

startTime := now()
resp, err := http.Get("http://localhost:8080/")
defer resp.Body.Close()
endTime := now()
log.Println(float64(endTime - startTime))
if err != nil {
boomer.Events.Publish("request_failure", "demo", "http", 0.0, err.Error())
}else {
boomer.Events.Publish("request_success", "demo", "http", float64(endTime - startTime), resp.ContentLength)
}
}


func main() {

task := &boomer.Task{
// Weight 权重,和 Locust 的 task 权重类似,在有多个 task 的时候生效
// FIXED: 之前误写为Weith
Weight: 10,
// Fn 类似于 Locust 的 task
Fn: test_http,
}

/*
通知 boomer 去执行自定义函数,支持多个
boomer.Run(task1, task2, task3)
*/


boomer.Run(task)

}

运行

1
2
3
4
# dummy.py 可以在 boomer 代码库里找到,由于 master 不再负责实际的业务逻辑
# 所以 dummy.py 的格式,只要符合 Locust 脚本的规范就行了
locust -f dummy.py --master --master-bind-host=127.0.0.1 --master-bind-port=5557
go run main.go --master-host=127.0.0.1 --master-port=5557

boomer 目前比较完整地实现了 Locust slave 端的功能,在实际使用中,较原生的 Python 实现,有 5-10 倍以上的性能提升。

Locust 官方表示,master 和 slave 间通讯,用 zeromq 会有较大的性能提升,但是我目前并没有感觉到明显的性能差异,可能是我挂的 slave 数量还不够多吧。目前 boomer 还不支持zeromq,如果将来这里确实是个瓶颈,实现起来也很快。

Enjoy!