logstash日志相关配置参考，logstash日志解析不生效

今天小编为大家分享Windows系统下载、Windows系统教程、windows相关应用程序的文章，希望能够帮助到大家！

　　最近我开始收集客户的浏览访问记录数据，为以后的用户行为和用户画像打下基础。我使用的数据流转分析如下图所示。

　　这篇博文是关于将日志从nginx传输到s3的过程的，只涉及了上图的一小部分。在这个过程中，我使用了logstash的5.4.3版本。但是需要注意的是，安装logstash之前，我让运维将它升级到了最新版本，因为默认安装的1.4.5版本在将日志写入s3时会出现各种错误。另外，手机日志的插件安装在了服务器上，可以解析日志，并支持各种匹配，非常方便让你从复杂的日志文件中提取你想要的内容。如果需要安装和使用，请参考官网教程。

　　日志的格式可以由运维和前端配合进行调整。如果需要记录cookie信息，可以让运维在日志中记录cookie;而如果需要其他参数，前端可以在url后面带上。我们来看一段由nginx记录的原始日志：

　　日志按空格分割，可以解读如下：

　　- 第一个部分是客户端ip;

　　- 第二和第三部分是用户的信息，如果没有的话就用“-”代替;

　　- 第四部分是记录日志的服务器时间，放在“[]”中;

　　- 接着是双引号内的一长串内容，记录了http请求的信息，格式是固定的：请求方式、请求url和http版本;

　　- 然后是http请求返回的状态码，是一个数字;

　　- 接下来是请求返回的内容大小;

　　- 然后依次是当前的url、浏览器信息、服务器IP地址和请求耗时。如果后面还有逗号，则是cookie的信息。

　　日志中的cookie信息也是有规律的。以我这边的日志为例，我需要取出ez_cookie_id和65_customer这两个信息。我们可以创建一个logstash grok pattern来提取这些信息。

　　这个pattern我只格式化到服务器的返回code，如果需要可以按照相同的格式继续添加其他需要的部分。另外，我还需要解析request_page中的url参数。我可以使用kv插件来解析，通过设置include_keys来选出我想要的值。同样的方式也可以用于解析日志中的cookie信息。

wWw.Xtw.com.Cn系统网专业应用软件下载教程，免费windows10系统,win11,办公软件,OA办公系统,OA软件,办公自动化软件,开源系统,移动办公软件等信息，解决一体化的办公方案。