golang 字符串拼接性能的对比分析

浏览:56日期:2022-08-19
背景

最近在做一个服务发现/注册的agent, 各个服务需要通过这个agent来注册自己的服务,在完成

开发后,测试性能时发现性能达不到要求,通过pprof 来确认cpu主要耗费在gc上,分析结果主要是由于字符串拼接导致,故需要测试一下字符串拼接的几种方法的性能;

字符串拼接的几种方法

1、直接使用加号进行拼接

2、strings.Join()

3、fmt.Sprintf()

4、bytes.Buffer

大量字符串拼接性能测试

我们使用的场景主要是大量字符串拼接,所以需要的场景是不断在字符串上拼接所以测试函数如下:

// fmt.Printffunc BenchmarkFmtSprintfMore(b *testing.B) { var s string for i := 0; i < b.N; i++ { s += fmt.Sprintf('%s%s', 'hello', 'world') } fmt.Errorf(s)}// 加号 拼接func BenchmarkAddMore(b *testing.B) { var s string for i := 0; i < b.N; i++ { s += 'hello' + 'world' } fmt.Errorf(s)}// strings.Joinfunc BenchmarkStringsJoinMore(b *testing.B) { var s string for i := 0; i < b.N; i++ { s += strings.Join([]string{'hello', 'world'}, '') } fmt.Errorf(s)}// bytes.Bufferfunc BenchmarkBufferMore(b *testing.B) { buffer := bytes.Buffer{} for i := 0; i < b.N; i++ { buffer.WriteString('hello') buffer.WriteString('world') } fmt.Errorf(buffer.String())}

执行测试函数

~/gopath/src/test/string ? go test -bench='.'goos: darwingoarch: amd64pkg: test/stringBenchmarkFmtSprintfMore-4 300000 118493 ns/opBenchmarkAddMore-4 300000 124940 ns/opBenchmarkStringsJoinMore-4 300000 117050 ns/opBenchmarkBufferMore-4 100000000 37.2 ns/opPASSok test/string 112.294s

从上可以看出使用bytes.buffer的性能是非常高的,如果涉及到大量数据拼接推荐

bytes.buffer{}

单次字符串拼接性能测试

func BenchmarkFmtSprintf(b *testing.B) { for i := 0; i < b.N; i++ { s := fmt.Sprintf('%s%s', 'hello', 'world') fmt.Errorf(s) }}func BenchmarkAdd(b *testing.B) { for i := 0; i < b.N; i++ { s := 'hello' + 'world' fmt.Errorf(s) }}func BenchmarkStringsJoin(b *testing.B) { for i := 0; i < b.N; i++ { s := strings.Join([]string{'hello', 'world'}, '') fmt.Errorf(s) }}func BenchmarkBuffer(b *testing.B) { for i := 0; i < b.N; i++ { b := bytes.Buffer{} b.WriteString('hello') b.WriteString('world') fmt.Errorf(b.String()) }}

执行测试函数

~/gopath/src/test/string ? go test -bench='.'goos: darwingoarch: amd64pkg: test/stringBenchmarkFmtSprintf-4 10000000 200 ns/opBenchmarkAdd-4 20000000 93.6 ns/opBenchmarkStringsJoin-4 10000000 152 ns/opBenchmarkBuffer-4 10000000 175 ns/opPASSok test/string 7.818s

从上可以看出单词调用字符串拼接性能 + > strings.Join > bytes.Buffer > fmt.Sprintf

总结

如果涉及到大量数据拼接推荐 bytes.buffer{}

后记

当然只是通过bytes.buffer{} 性能还是不够的,针对这个问题我们通过添加缓存进一步接口qps.

cpu 耗费在gc 上的原因,需要分析golang gc 回收机制, 这是另外一个topic, 之后总结。

补充:Go语言字符串批量拼接-StringBuilder

1.安装

go get -u github.com/typa01/go-utils

import ( 'github.com/typa01/go-utils')

使用,例:

fieldNames := tsgutils.NewInterfaceBuilder()

2.使用

func TestStringBuilderReplace(t *testing.T) { builder1 := NewStringBuilder() builder1.Append('%111%abc%987%') FmtPrintln(builder1.Replace('%', '$').ToString()) // $111$abc$987$ builder2 := builder1.Clear() builder2.AppendStrings('abc','defg').AppendInt(123).AppendFloat64(66.44).AppendStrings('aaa', 'bbb', '&') FmtPrintln(builder2.RemoveLast().ToString()) // abcdefg1236.644E+01aaabbb str1 := NewString('123') builder3 := NewStringBuilderString(str1).Append('456') FmtPrintln(builder3.ToString()) // 123456}

3.GitHub源码地址

https://github.com/typa01/go-utils

https://github.com/typa01/go-utils/blob/master/string_builder.go

以上为个人经验,希望能给大家一个参考,也希望大家多多支持乐呵呵网。如有错误或未考虑完全的地方,望不吝赐教。

标签: Golang
相关文章: