Log4j，Stat4j，SMTPAppender集成–汇总错误日志以发送太多电子邮件

我们的开发团队希望在生产系统出现问题时尽快得到通知，这是一个每天为成千上万的客户提供服务的关键Java Web应用程序。这个想法是让它在出现太多错误时向我们发送电子邮件，这些错误通常表明数据库，外部Web服务存在问题，或者应用程序本身确实存在问题。

在本文中，我想介绍一个简单的解决方案，我们已经使用基于Stats4j和SMTPAppender的自定义Log4J Appender实现了（这比您预期的配置和故障排除更加困难）。

挑战

我们在日志方面面临以下挑战：

不幸的是，有一定数量的例外情况是正常的（客户选择没有结果的搜索条件，外部服务的暂时性，不重要的中断等），因此我们当然不希望被发送垃圾邮件。因此，解决方案必须具有可配置的阈值，并且仅在超出阈值时发送警报。
故障率应该在可配置的时间内进行计算（足够长的时间不会因几分钟的中断而触发警报，而足够短的时间可以在发生严重事件时尽快通知团队）。
发送警报后，一段时间内（最好在解决原始问题之前）不应再发送其他警报，我们不希望因为我们已经知道的问题而被发送垃圾邮件。

解决方案

我们基于Lara D'Abreo的Stat4J解决方案，该解决方案提供了一个自定义Log4J附加程序，该附加程序使用日志来计算可配置的度量，并在超出警告或严重阈值时触发警报。它有几年历史了，具有alpha质量（关于通用性和灵活性）的开源库，幸运的是，它足够简单，可以轻松地根据需要进行修改。

因此，我们对Stat4J进行了调整，以在警报数量超过阈值时生成警报，此后保持安静，然后将其与Log4J SMTPAppender结合使用，后者侦听警报并将其通过电子邮件发送给团队。

Stat4J调整

Stat4J的关键组件包括用于Log4J的Stat4jAppender，用于汇总单个日志的计算器（度量）（例如，通过对它们进行计数或从中提取一些数字），用于定义要通过正则表达式考虑的日志以及如何通过以下方式处理的统计信息：引用计算器，最后在统计信息的值超出其限制时发出警告，并记录警告。您可以在介绍Stat4J的文章中了解更多信息。

我们已经实现了一个自定义的度量计算器， RunningRate （以计算最近N分钟内的失败数），并修改了Stat4J，如下所示：

我们增强了Alert来支持新属性quietperiod，以便一旦触发，随后的警报将在该持续时间内被忽略（除非以前的警报只是警告，而新警报是关键警报）
我们修改了附加器，将日志的Throwable与日志消息一起包含，然后将其传递给各个统计计算器，以便我们可以更精确地过滤要计数的内容
最后，我们修改了Alert，将警报记录为错误而不是警告，以使SMTPAppender不会忽略它们

从GitHub （我们的源代码或编译的jar ）中获取我们修改后的Stat4j 。免责声明：这是一天的工作，我对代码并不感到骄傲。

Stat4J配置

以stat4j.properties为例，并将其放在类路径中。它已经配置了正确的计算器，统计信息和警报。看到这部分：

### JAKUB HOLY - MY CONFIG
calculator.minuteRate.classname=net.sourceforge.stat4j.calculators.RunningRate
# Period is in [ms] 1000 * 60 * 10 = 10 min:
calculator.minuteRate.period=600000statistic.RunningErrorRate.description=Errors per 10 minutes
statistic.RunningErrorRate.calculator=minuteRate
# Regular expression to match "<throwable.toString> <- <original log message>"
statistic.RunningErrorRate.first.match=.*Exception.*# Error Rate
alert.TooManyErrorsRecently.description=Too many errors in the log
alert.TooManyErrorsRecently.statistic=RunningErrorRate
alert.TooManyErrorsRecently.warn= >=3
alert.TooManyErrorsRecently.critical= >=10
alert.TooManyErrorsRecently.category=alerts
# Ignore following warnings (or criticals, after the first critical) for the given amount of time:
# 1000 * 60 * 100 = 100 min
alert.TooManyErrorsRecently.quietperiod=6000000

重要的配置参数是

Calculator.minuteRate.period （以毫秒为单位）–在此期间计算错误，在其结束时重置计数；合理的值可能是10分钟
alert.TooManyErrorsRecently.warn和alert.TooManyErrorsRecently.critical –在此期间遇到如此多的错误时触发警报。合理的值取决于您应用程序的正常错误率
alert.TooManyErrorsRecently.quietperiod （以毫秒为单位）–在此期间，在持续失败的情况下，不要发送进一步的警报以防止垃圾邮件；合理的值取决于您通常解决问题的速度，对我来说1个小时似乎还可以

Log4J配置

现在，我们需要告诉Log4J使用Stat4j附加程序来计算错误发生次数并通过电子邮件发送警报：

log4j.rootCategory=DEBUG, Console, FileAppender, Stat4jAppender
...
### Stat4jAppender & EmailAlertsAppender ###
# Collects statistics about logs and sends alerts when there
# were too many failures in cooperation with the EmailAlertsAppender## Stat4jAppender
log4j.appender.Stat4jAppender=net.sourceforge.stat4j.log4j.Stat4jAppender
log4j.appender.Stat4jAppender.Threshold=ERROR
# For configuration see stat4j.properties## EmailAlertsAppender
# BEWARE: SMTPAppender ignores its Thresholds and only evers sends ERROR or higher messages
log4j.category.alerts=ERROR, EmailAlertsAppender
log4j.appender.EmailAlertsAppender=org.apache.log4j.net.SMTPAppender
log4j.appender.EmailAlertsAppender.To=dummy@example.com
# BEWARE: The address below must have a valid domain or some receivers will reject it (e.g. GMail)
log4j.appender.EmailAlertsAppender.From=noreply-stat4j@google.no
log4j.appender.EmailAlertsAppender.SMTPHost=172.20.20.70
log4j.appender.EmailAlertsAppender.BufferSize=1
log4j.appender.EmailAlertsAppender.Subject=[Stat4j] Too many exceptions in log
log4j.appender.EmailAlertsAppender.layout=org.apache.log4j.PatternLayout
log4j.appender.EmailAlertsAppender.layout.ConversionPattern=%d{ISO8601} %-5p %X{clientIdentifier} %c %x - %m%n

注释

＃8指定Stat4J附加程序
＃9仅向Stat4J发送错误，我们对不太严重的异常不感兴趣
＃14“警报”是Stat4jAppender用于记录警报的日志类别（与您通过Logger.getLogger（“ alerts”）创建的类别）相同；如前所述，SMTPAppender将不考虑配置而仅处理错误和更高级别

SMTPAppender的问题

使SMTPAppender工作非常棘手。一些陷阱：