在实际的系统中,我们经常会进行分布式的系统部署,但是这样会导致一个问题,系统日志也被分散开了,导致根据日志进行错误定位不太方便,所以,利用simple_flow实时流的特点,再配合elasticsearch建立索引,搭配构建一个实时日志搜索系统.具体流程图如下:
具体实现如下:
1.启动elasticsearch, 这个参考官方文档 http://www.elasticsearch.org/
2.编译安装simple_flow/生成log_index(将日志转化为索引程序)
2.1 git clone git@github.com:hongliuliao/simple_flow.git
2.2 make && make example
3.执行 ./bin/log_index, 之后可以看到日志向elasticsearch传输,并返还创建成功的结果
4.通过RESTful接口查看日志情况,
curl -XGET 'http://localhost:9200/mytest/accesslog/_search?q=log_content:chrome&pretty=true'
具体代码参考: https://github.com/hongliuliao/simple_flow/blob/master/example/log_index.cpp
相关推荐
基于ElasticSearch7.3.2、RestHighLevelClient、SpringBoot搭建的通用搜索系统脚手架,帮助开发者快速搭建搜索系统 简介 基于ElasticSearch7.3.2版本的通用搜索系统 使用rest-high-level-client操作ES 封装常用api...
linux环境下用到的 elasticsearch-6.2.2.tar.gz elasticsearch-analysis-ik-6.2.2. zipkibana-6.2.2-linux-x86_64.tar.gz
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统 对nginx日志进行正则切割字段。 https://www.jianshu.com/p/f7927591d530
前言 由于logstash内存占用较大,灵活性相对没那么好,ELK正在被EFK逐步替代.其中本文所讲的EFK是Elasticsearch+Fluentd+Kfka,实际上K应该是Kibana用于...每一个服务都可以横向扩展,添加服务到日志系统中. 配置文件 dock
springboot整合elk
ElasticSearch+Spark 构建高相关性搜索服务&千人千面推荐系统
Scrapy + Elasticsearch + Django打造全文搜索引擎源码 Scrapy + Elasticsearch + Django打造全文搜索引擎源码 Scrapy + Elasticsearch + Django打造全文搜索引擎源码 Scrapy + Elasticsearch + Django打造...
十分钟学会使用 Elasticsearch 优雅搭建自己的搜索系统。 什么是elasticsearch Elasticsearch 是一个开源的高度可扩展的全文搜索和分析引擎,拥有查询近实时的超强性能。 大名鼎鼎的Lucene 搜索引擎被广泛用于搜索...
flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析【大数据】
简易博客检索系统使用前后端分离,前端使用 Vue ,后端使用 SpringBoot 数据库 MySQL 检索使用 ElasticSearch 同步数据使用 logstash 基于Springboot + ElasticSearch +Vue+MySQL构建的博客检索系统 项目经过严格...
SpringBoot+es+vue搭建博客检索系统 需要提前安装好 ElasticSearch 。logstash 安装下文有具体说明。 新建表 blog 必须有字段 id update_time,可参考项目中 entity 包下字段建表。 项目地址 SpringBoot 搭建博客...
Python毕业设计-基于Scrapy+Elasticsearch+Django搭建的分布式电影搜索的设计与实现+使用说明+全部资料(优秀项目).zipPython毕业设计-基于Scrapy+Elasticsearch+Django搭建的分布式电影搜索的设计与实现+使用说明+...
使用logstash+elasticsearch+kibana搭建监控平台 ,也可以使用logstash+influxdb+grafana搭建监控平台
Elasticsearch + Logstash + Kibana Elasticsearch + Logstash + filebeat + Kibana Elasticsearch + Logstash + filebeat + redis(也可以是其他中间件,比如kafka) + Kibana 2、生产上建议使用 建议采用 ...
1、基于SpringBoot+ElasticSearch+vue.js开发的大数据营销系统源码.zip 2、该资源包括项目的全部源码,下载可以直接使用! 3、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目,作为...
ES+ik+kibana 搭建本地ES
Logash+Elasticsearch+Kibana 日志系统安装部署教程
基于SpringCloud Alibaba+SpringBoot+MybatisPlus+ElasticSearch搭建的商城项目; 系统对接了腾讯第三方:短信、图片等功能。只需要替换对应的key即可使用^_^
大数据搜索与日志挖掘及可视化方案--ELK+Stack+Elasticsearch+Logstash+Kibana大数据搜索与日志挖掘及可视化方案--ELK+Stack+Elasticsearch+Logstash+Kibana
Logash+Elasticsearch+Kibana 日志系统安装部署教程。。