在本文中,我们将看到如何使用 Elastic Search , Logstash 和 Kibana 管理APIGEE API网关生成的日志 。 下图突出显示了日志数据如何流经ELK堆栈以进行数据可视化和监视。
作为API网关的一部分,我们将使用MessageLogging策略在代理流,目标流和根据需求发布客户端流的情况下捕获API代理日志。 从今天开始,MessageLogging策略支持syslog和基于文件的日志记录(仅适用于本地安装)。 以下是MessageLogging策略配置,用于将日志发送到syslog服务器。
<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<MessageLogging async="false" continueOnError="false" enabled="true" name="TestEnv-Message-Logging"><DisplayName>TestEnv Message Logging</DisplayName><Syslog><Message>{messageId}|{apiproxy.name}|{response.status.code}|{target.received.start.timestamp}|{target.received.end.timestamp}|{environment.name}|{client.received.start.timestamp}|{client.sent.end.timestamp}</Message><Host>127.0.0.1</Host><Port>514</Port></Syslog>
</MessageLogging>
现在,我们将看到logstash配置,以将数据从syslog提取到logstash。 在这里,我没有给出设置ELK的步骤,因为这超出了范围。
input {file {path => "/Users/sjana/Documents/POC/ELK/APIGEE_LOG.log"start_position => "beginning"sincedb_path => "/dev/null"}
}
filter {csv {separator => "|"columns => ["MessageId","API_PROXY_NAME","RESPONSE_STATUS_CODE","TARGET_RECEIVED_START_TIME","TARGET_RECEIVED_END_TIME","ENVIRONMENT_NAME","CLIENT_RECEIVED_START_TIME","CLEINT_SENT_END_TIME"]remove_field => "message"}
}
output {elasticsearch {hosts => "http://localhost:9200"index => "apiproxies-log"}stdout {}
}
将syslog数据成功摄取到Logstash后,我们可以根据索引中的可用字段配置可视化。 以下是为API代理响应状态代码创建的示例可视化。
在接下来的文章中,我们将讨论另一个主题。 直到那时, 传播 对API的热爱!!!
翻译自: https://www.javacodegeeks.com/2019/01/apigee-gateway-logstash-kibana.html