日志管理工具Zap笔记

文章目录

- Uber-go Zap日志库
- - 为什么选择 Zap
  - 配置 Zap Logger
  - - 1. Logger
    - 2. SugaredLogger
  - 定制logger
  - - 1. 将日志写入文件而不是终端
    - 2. 将JSON Encoder更改为普通的Log Encoder
    - 3. 更改时间编码并添加调用者详细信息
    - 4. AddCallerSkip
    - 5. 将err日志单独输出到文件
- 使用Lumberjack进行日志切割归档
- - zap logger中加入Lumberjack
- 总结

Uber-go Zap日志库

为什么选择 Zap

Zap是非常快的、结构化的，分日志级别的Go日志库。

根据Uber-go Zap的文档，它的性能比类似的结构化日志包更好，也比标准库更快。以下是Zap发布的基准测试信息

记录一条消息和10个字段:

记录一个静态字符串，没有任何上下文或printf风格的模板：

配置 Zap Logger

Zap提供了两种类型的日志记录器：Sugared Logger和Logger。

在性能很好但不是很关键的上下文中，使用SugaredLogger。它比其他结构化日志记录包快4-10倍，并且支持结构化和printf风格的日志记录。
在每一微秒和每一次内存分配都很重要的上下文中，使用Logger。它比SugaredLogger更快，内存分配次数也更少，但它只支持强类型的结构化日志记录。

什么是printf风格的日志记录？就是实现相同的日志描述，sugarLogger只要写更少的代码就能实现更清晰的描述功能。demo代码如下：

// 使用logger
logger.Info("Failed to fetch URL", zap.String("url", url))
logger.Debug("Retrying：", zap.Int("delay", delay))// 使用sugarLogger
sugarLogger.Infof("Failed to fetch URL: %s", url)
sugarLogger.Debugf("Retrying in %d seconds...", delay)

1. Logger

通过调用 zap.NewProduction()/zap.NewDevelopment()或者zap.Example()创建一个Logger。
- zap.NewProduction(): 创建一个适合在生产环境中使用的Logger。这个Logger会输出JSON格式的日志，包含时间戳和调用者信息。默认情况下，它会将InfoLevel及以上的日志写入标准输出。这个Logger的配置更注重性能和日志的机器解析性。
- zap.NewDevelopment(): 创建一个适合在开发环境中使用的Logger。这个Logger的输出格式更适合人类阅读，而不是机器解析。它也包含了时间戳和调用者信息，但是默认情况下，它会将DebugLevel及以上的日志写入标准错误输出。这个Logger的配置更注重人类的可读性和错误的详细信息。
- zap.Example(): 创建一个简单的Logger主要用于库的示例。这个Logger会将所有级别的JSON格式的日志写入标准输出，不包含时间戳和调用者信息。这个Logger配置主要用于演示库的基础功能，通常不会在生产或开发环境中使用。
通过Logger调用Info/Error等。
默认情况下日志都会打印到应用程序的console界面。

var logger *zap.Loggerfunc main() {InitLogger()defer func(logger *zap.Logger) {//每个使用zap库的应用程序在结束前都应调用Logger.Sync()，来确保所有的日志都被写入目标设备。//因为zap库为了提高性能，可能会缓存一些日志在内存中，而不是立即写入目标设备。_ = logger.Sync()}(logger)simpleHttpGet("https://www.baidu.com")simpleHttpGet("https://www.google.com")
}func InitLogger() {logger, _ = zap.NewProduction()
}func simpleHttpGet(url string) {resp, err := http.Get(url)if err != nil {logger.Error("Error fetching url..",zap.String("url", url),zap.Error(err))} else {logger.Info("Success..",zap.String("statusCode", resp.Status),zap.String("url", url))_ = resp.Body.Close()}
}

当发送请求错误时使用error级别的日志记录；当请求成功时使用info级别的日志记录。运行结果如下：

2. SugaredLogger

var sugarLogger *zap.SugaredLoggerfunc main() {InitLogger()defer func(sugarLogger *zap.SugaredLogger) {_ = sugarLogger.Sync()}(sugarLogger)simpleHttpGet("https://www.baidu.com")simpleHttpGet("https://www.google.com")
}func InitLogger() {logger, _ := zap.NewProduction()sugarLogger = logger.Sugar()
}func simpleHttpGet(url string) {sugarLogger.Debugf("Trying to hit GET request for %s", url)resp, err := http.Get(url)if err != nil {sugarLogger.Errorf("Error fetching URL %s : Error = %s", url, err)} else {sugarLogger.Infof("Success! statusCode = %s for URL %s", resp.Status, url)_ = resp.Body.Close()}
}

运行结果如下：

定制logger

1. 将日志写入文件而不是终端

我们将使用 zap.New() 方法来手动传递所有配置，而不是使用像 zap.NewProduction() 这样的预置方法来创建logger。logger常见完成要做的第一个更改是把日志写入文件，而不是打印到应用程序控制台。zap.New() 方法的原型如下：

func New(core zapcore.Core, options ...Option) *Logger

zapcore.Core 这个参数需要三个配置，分别是Encoder、WriteSyncer和LogLevel。

Encoder：编码器(如何写入日志)。这里使用开箱即用的 NewJSONEncoder()，zapcore.NewJSONEncoder()返回一个将日志消息编码为JSON格式的编码器。然后并使用预先设置的 NewProductionEncoderConfig()，这个NewProductionEncoderConfig()有如下配置可供选择：
- MessageKey: 默认为"msg"，用于指定输出的消息的键名。
- LevelKey: 默认为"level"，用于指定输出的日志级别的键名。
- TimeKey: 默认为"ts"，用于指定输出的时间戳的键名。
- NameKey: 默认为"logger"，用于指定输出的日志记录器名称的键名。
- CallerKey: 默认为"caller"，用于指定输出的调用者信息的键名。
- StacktraceKey: 默认为"stacktrace"，用于指定输出的堆栈信息的键名。
- LineEnding: 默认为"\n"，用于指定行结束符。
- EncodeLevel: 默认为zapcore.LowercaseLevelEncoder，用于指定日志级别的编码方式。
- EncodeTime: 默认为zapcore.EpochTimeEncoder，用于指定时间戳的编码方式。
- EncodeDuration: 默认为zapcore.SecondsDurationEncoder，用于指定时间持续期的编码方式。
- EncodeCaller: 默认为zapcore.ShortCallerEncoder，用于指定调用者信息的编码方式。
```
// 这里我们都使用默认的即可
zapcore.NewJSONEncoder(zap.NewProductionEncoderConfig())
```
WriterSyncer：指定日志将写到哪里去。我们使用 zapcore.AddSync() 函数并且将打开的文件句柄传进去。
```
file, _ := os.Create("./log/demo.log")
writeSyncer := zapcore.AddSync(file)
```
Log Level：哪种级别的日志将被写入。有以下几种日志级别：
1. DebugLevel: 通常只在开发环境中使用，用于输出详细的调试信息。
2. InfoLevel: 适用于生产环境，用于记录关键的系统信息。
3. WarnLevel: 对可能存在问题的情况进行警告，但不会影响系统运行。
4. ErrorLevel: 在系统无法正常运行时进行记录，比如无法进行数据库连接、缺失必要的配置文件等。
5. DPanicLevel: 用于开发环境，当代码运行到绝不应该运行的部分时，记录Panic日志。在生产环境，不会引起Panic，只会记录错误。
6. PanicLevel: 与DPanicLevel相似，用于非开发环境，当代码运行到绝不应该运行的部分时，会引发Panic。
7. FatalLevel: 当系统无法运行时，记录致命错误，然后调用os.Exit。
修改上述部分中的Logger代码：重写InitLogger()方法。
```
func InitLogger() {encoder := getEncoder()writeSyncer := getLogWriter()core := zapcore.NewCore(encoder, writeSyncer, zapcore.DebugLevel)logger := zap.New(core)sugarLogger = logger.Sugar()
}func getEncoder() zapcore.Encoder {return zapcore.NewJSONEncoder(zap.NewProductionEncoderConfig())
}func getLogWriter() zapcore.WriteSyncer {file, _ := os.Create("./log/demo.log")return zapcore.AddSync(file)
}
```

当使用这些修改过的logger配置调用上述部分的main()函数时，以下输出将打印在文件./log/demo.log中。

{"level":"debug","ts":1697091706.9003525,"msg":"Trying to hit GET request for https://www.baidu.com"}
{"level":"info","ts":1697091707.2923145,"msg":"Success! statusCode = 200 OK for URL https://www.baidu.com"}
{"level":"debug","ts":1697091707.2925751,"msg":"Trying to hit GET request for https://www.google.com"}
{"level":"error","ts":1697091728.6855457,"msg":"Error fetching URL https://www.google.com : Error = Get \"https://www.google.com\": dial tcp [2a03:2880:f126:83:face:b00c:0:25de]:443: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond."}

2. 将JSON Encoder更改为普通的Log Encoder

现在，我们希望将编码器从JSON Encoder更改为普通Encoder。其实只需要将NewJSONEncoder()更改为NewConsoleEncoder()即可。

func getEncoder() zapcore.Encoder {return zapcore.NewConsoleEncoder(zap.NewProductionEncoderConfig())
}

最后的日志结果如下：

1.6970938827359314e+09	debug	Trying to hit GET request for https://www.baidu.com
1.697093883124089e+09	info	Success! statusCode = 200 OK for URL https://www.baidu.com
1.6970938831244597e+09	debug	Trying to hit GET request for https://www.google.com
1.6970939045269628e+09	error	Error fetching URL https://www.google.com : Error = Get "https://www.google.com": dial tcp 162.125.32.15:443: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.

3. 更改时间编码并添加调用者详细信息

第一步：覆盖默认的ProductionConfig()

func getEncoder() zapcore.Encoder {// 得到编码配置encoderConfig := zap.NewProductionEncoderConfig()// 通过配置修改时间编码规则encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder// 通过配置添加调用者信息encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoderreturn zapcore.NewConsoleEncoder(encoderConfig)
}

第二步：修改zap logger代码，添加将调用函数信息记录到日志中的功能。也就是在zap.New()函数中添加一个Option。

logger := zap.New(core, zap.AddCaller())

最后的运行结果如下：

2023-10-12T15:11:29.098+0800	DEBUG	zap/main.go:47	Trying to hit GET request for https://www.baidu.com
2023-10-12T15:11:29.624+0800	INFO	zap/main.go:52	Success! statusCode = 200 OK for URL https://www.baidu.com
2023-10-12T15:11:29.624+0800	DEBUG	zap/main.go:47	Trying to hit GET request for https://www.google.com
2023-10-12T15:11:51.053+0800	ERROR	zap/main.go:50	Error fetching URL https://www.google.com : Error = Get "https://www.google.com": dial tcp [2a03:2880:f10d:83:face:b00c:0:25de]:443: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.

4. AddCallerSkip

当我们不是直接使用初始化好的logger实例记录日志，而是将其包装成一个函数等，此时日录日志的函数调用链会增加，想要获得准确的调用信息就需要通过AddCallerSkip函数来跳过。

logger := zap.New(core, zap.AddCaller(), zap.AddCallerSkip(1))

5. 将err日志单独输出到文件

有时候我们除了将全量日志输出到xxx.log文件中之外，还希望将ERROR级别的日志单独输出到一个名为xxx.err.log的日志文件中。我们可以通过以下方式实现。

func InitLogger() {encoder := getEncoder()// demo.log记录全量日志logF, _ := os.Create("./log/demo.log")c1 := zapcore.NewCore(encoder, zapcore.AddSync(logF), zapcore.DebugLevel)// demo.err.log记录ERROR级别的日志errF, _ := os.Create("./log/demo.err.log")c2 := zapcore.NewCore(encoder, zapcore.AddSync(errF), zap.ErrorLevel)// 使用NewTee将c1和c2合并到corecore := zapcore.NewTee(c1, c2)logger := zap.New(core, zap.AddCaller())sugarLogger = logger.Sugar()
}

demo.err.log的内容如下：

2023-10-12T15:21:09.108+0800	ERROR	zap/main.go:55	Error fetching URL https://www.google.com : Error = Get "https://www.google.com": dial tcp [2a03:2880:f112:83:face:b00c:0:25de]:443: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.

demo.log的内容如下：

2023-10-12T15:20:47.300+0800	DEBUG	zap/main.go:52	Trying to hit GET request for https://www.baidu.com
2023-10-12T15:20:47.675+0800	INFO	zap/main.go:57	Success! statusCode = 200 OK for URL https://www.baidu.com
2023-10-12T15:20:47.675+0800	DEBUG	zap/main.go:52	Trying to hit GET request for https://www.google.com
2023-10-12T15:21:09.108+0800	ERROR	zap/main.go:55	Error fetching URL https://www.google.com : Error = Get "https://www.google.com": dial tcp [2a03:2880:f112:83:face:b00c:0:25de]:443: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.

使用Lumberjack进行日志切割归档

Zap日志工具唯一缺少的就是日志切割归档功能。这里使用第三方库Lumberjack来实现，但是这个库目前只支持按文件大小切割，原因是按时间切割效率低且不能保证日志数据不被破坏。

zap logger中加入Lumberjack

要在zap中加入Lumberjack支持，我们需要修改WriteSyncer代码。我们将按照下面的代码修改getLogWriter()函数：

// MaxSize:定义了日志文件的最大大小，单位是MB。
// MaxBackups:定义了最多保留的备份文件数量。当备份文件数量超过MaxBackups后，lumberjack会自动删除最旧的备份文件。
// MaxAge:定义了备份文件的最大保存天数。当备份文件的保存天数超过MaxAge后，lumberjack会自动删除备份文件。
// Compress:定义了备份文件是否需要压缩。如果设置为true，备份的日志文件会被压缩为.gz格式。
func getLogWriter() zapcore.WriteSyncer {lumberJackLogger := &lumberjack.Logger{Filename:   "./log/demo.log",MaxSize:    1,MaxBackups: 5,MaxAge:     30,Compress:   false,}return zapcore.AddSync(lumberJackLogger)
}

最后只要将getLogWriter返回就行。

writeSyncer := getLogWriter()

总结

以上就是Zap库的基本使用。下面做一个总结：

Zap提供了两种类型的日志记录器：Sugared Logger和Logger。
对于性能要求不是非常高的应用可以使用Sugared Logger。相比于Logger，Sugared Logger提供了printf风格的日志记录。
对于性能要求非常高的应用需要使用Logger来保证性能。
不管是Logger还是Sugared Logger，它们都有三个预制化的日志：zap.NewProduction()、zap.NewDevelopment()和zap.Example()。
如果不想使用预制化的日志记录，可以自己定制日志记录。
定制日志需要使用zap.New方法，该方法有一个core参数和多个options。
core参数需要通过zapcore.NewCore()方法生成，该方法需要三个参数：encoder、writeSyncer和level。
通过配置encoder参数可以指定日志级别的编码方式（是JSON格式还是控制台格式），还可以指定更改时间编码方式等。
通过配置writeSyncer参数可以指定日志的输出位置。并且通过引入Lumberjack库还可以实现日志切割。
通过配置level参数可以控制日志级别，有DebugLevel、InfoLevel、ErrorLevel等级别，可以根据需要进行选择。