模糊测试Fuzz Testing

模糊测试Fuzz Testing是通过向目标系统提供非预期的输入并监视异常结果来发现软件漏洞的方法。可以用来发现应用程序、操作系统和网络协议等中的漏洞或错误特别是容易被忽视的边界情况。模糊测试的基本思路是在测试过程中生成大量的随机数然后将这些数据输入到被测试的程序中监测程序的异常运行结果来分析程序中的缺陷和漏洞。

Golang 中的模糊测试

Golang 从 1.18 版本开始将模糊测试整合进了标准库通过标准库 testing/fuzz 来实现模糊测试Golang 引入模糊测试可以帮助开发者进一步保障和提高应用程序的安全性。

Golang 中的模糊测试是通过数据构造引擎自动构造出也可以借助开发者提供的初始数据大量随机数据作为程序的输入来进行测试的一种方式。模糊测试会监测程序运行过程中是否出现 panic、断言失败、无限循环等异常情况。这些通过数据构造引擎生成的数据被称为语料corpus 。模糊测试是一种持续测试的手段如果不限制执行的次数或者执行时间就会一直执行下去。

模糊测试和单元测试类似的地方是测试文件也是以 _test.go 为后缀名不同的是模式测试函数需要以 Fuzz 为前缀后面跟上一个或多个字符或字符组合来标识测试用例的名称一般使用被测的函数名称参数必须是 f *testing.F。

看个例子

以 json 格式校验工具 https://github.com/luduoxin/json-validator-go 为例在 validator 包中的 scanner.go 文件中新增一个除法函数代码如下

func Div(a, b int) int {
	return a / b
}

这个函数显然没有考虑除数为 0 的情况如果使用单元测试使用的测试数据没有考虑除数为 0 的情况的话这个问题就不会被发现但是使用模糊测试就可以测出这种问题。然后在 validator 包中的 scanner_test.go 文件中添加模糊测试用例代码如下

func FuzzDiv(f *testing.F) {
    f.Fuzz(func(t *testing.T, a, b int) {
        Div(a, b)
    })
}

然后运行模糊测试用例如下命令是运行所有模糊测试用例:

$ go test -fuzz .
fuzz: elapsed: 0s, gathering baseline coverage: 0/2 completed
failure while testing seed corpus entry: FuzzDiv/120fad832ddff45a1b2b70e7a31805a5c8d84f773566e0d19799aeda53b3f9c0
fuzz: elapsed: 0s, gathering baseline coverage: 0/2 completed
--- FAIL: FuzzDiv (0.02s)
    --- FAIL: FuzzDiv (0.00s)
        testing.go:1349: panic: runtime error: integer divide by zero
            goroutine 55 [running]:
            runtime/debug.Stack()
                /usr/local/Cellar/go/1.18.3/libexec/src/runtime/debug/stack.go:24 +0x90
            testing.tRunner.func1()
                /usr/local/Cellar/go/1.18.3/libexec/src/testing/testing.go:1349 +0x1f2
            panic({0x119ccc0, 0x12ed080})
                /usr/local/Cellar/go/1.18.3/libexec/src/runtime/panic.go:838 +0x207
            github.com/luduoxin/json-validator-go/validator.Div(...)
                /Users/ning/projects/go/json-validator-go/validator/scanner.go:634
            github.com/luduoxin/json-validator-go/validator.FuzzDiv.func1(0x0?, 0x0?, 0x0?)
                /Users/ning/projects/go/json-validator-go/validator/scanner_test.go:71 +0x33
            reflect.Value.call({0x1199380?, 0x11d2428?, 0x13?}, {0x11c45aa, 0x4}, {0xc000188360, 0x3, 0x4?})
                /usr/local/Cellar/go/1.18.3/libexec/src/reflect/value.go:556 +0x845
            reflect.Value.Call({0x1199380?, 0x11d2428?, 0x514?}, {0xc000188360, 0x3, 0x4})
                /usr/local/Cellar/go/1.18.3/libexec/src/reflect/value.go:339 +0xbf
            testing.(*F).Fuzz.func1.1(0x0?)
                /usr/local/Cellar/go/1.18.3/libexec/src/testing/fuzz.go:337 +0x231
            testing.tRunner(0xc000180820, 0xc0001a83f0)
                /usr/local/Cellar/go/1.18.3/libexec/src/testing/testing.go:1439 +0x102
            created by testing.(*F).Fuzz.func1
                /usr/local/Cellar/go/1.18.3/libexec/src/testing/fuzz.go:324 +0x5b8
            
    
FAIL
exit status 1
FAIL    github.com/luduoxin/json-validator-go/validator 0.527s

用例执行了一会后就报出了除数不能为 0 的 panic。执行模糊测试的过程中会在当前文件夹生成 testdata 目录导致用例没有通过的数据会保存在这个目录下下次再次执行用例的时候会再次使用这些数据作为语料。

$ tree
.
├── scanner.go
├── scanner_test.go
└── testdata
    └── fuzz
        └── FuzzDiv
            └── 120fad832ddff45a1b2b70e7a31805a5c8d84f773566e0d19799aeda53b3f9c0

打开未通过的语料内容本机的数据如下每个人执行的用例未通过的语料会有差异

go test fuzz v1
int(-89)
int(0)

可以看出被除数是 -89除数是 0因为 0 不能作为除数所以会报错。

提供自定义语料

Golang 的模糊测试允许开发者提供初始语料初始语料可以通过 f.Add 方法添加也可以将语料按照要求的格式写入 testdata/fuzz/FuzzXXX/ 中的语料文件中。重写 FuzzDiv 方法添加一些语料代码如下

func FuzzDiv(f *testing.F) {
	testcases := []struct {
		a, b int
	}{
		{10, 2},
		{5, 3},
		{-6, 3},
		{-6, -3},
	}
	for _, v := range testcases {
		// 根据提供的语料反射获得参数类型并穷举可能的值
		f.Add(v.a, v.b)
	}
	f.Fuzz(func(t *testing.T, a, b int) {
		Div(a, b)
	})
}

执行模糊测试用例的其他参数

可以使用 -fuzztime 参数来控制模糊测试的执行时间

go test -fuzz . -fuzztime 5s

可以指定要执行的模糊测试用例

go test -fuzz=FuzzDiv -fuzztime 5s

使用指定的未测试通过的数据做测试使用 -run=file 指定数据文件

go test -fuzz=FuzzDiv -run=FuzzDiv/378303d09d9499e4e6c708a92079f30db6f554529fd9eb86ac9a9639481fb23d

目前 Golang 的模糊测试支持被测函数使用的参数类型如下

[]byte, string, bool, byte, rune, float32, float64, int, int8, int16, int32, int64, uint, uint8, uint16, uint32, uint64

模糊测试和单元测试的区别

单元测试需要开发者根据函数逻辑给定一组或几组输入和输出数据然后调用被测试函数执行若返回值与输出数据一致则说明函数测试通过。因为用于测试的数据是开发者提供的难免会有遗漏的测试场景因此即使单元测试通过并不能说明程序是健壮的。而模糊测试是通过数据构造引擎自动构造出大量随机数据作为函数的输入参数可以充分测试函数的健壮性。