ELK日志系统开发（Logstash、Elasticsearch、Kibana安装）（一）_loophome的博客-CSDN博客
ELK日志系统开发（Logstash、Elasticsearch、Kibana安装）（一）
loophome
于 2016-08-25 18:55:29 发布
10847
收藏
分类专栏：
大数据处理
运维经验
ELK日志系统开发
文章标签：
ELK
Logstash
Kibana
Elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/loophome/article/details/52317209
版权
大数据处理
同时被 3 个专栏收录
7 篇文章
0 订阅
订阅专栏
运维经验
62 篇文章
2 订阅
订阅专栏
ELK日志系统开发
4 篇文章
2 订阅
订阅专栏
一、安装Logstash
！注意，logstash至少要有1G内存才能执行
在安装Logstash之前，确保已经安装了Java的运行环境
2）在官网（https://www.elastic.co/）下载Logstash，目前最新版本是6.x
3）下载完成之后，加压（无须编译），并复制到local目录下，这个是我正式部署的目录：/usr/local/logstash-6.2.4
4）测试运行
[root@localhost download]# /usr/local/logstash-6.2.4/bin/logstash -e 'input { stdin { } } output { stdout {} }'
Settings: Default pipeline workers: 1
Pipeline main started
c++
2016-08-18T09:39:26.267Z localhost.localdomain c++
我们可以看到，我们输入什么内容logstash按照某种格式输出，其中-e参数参数允许Logstash直接通过命令行接受设置。这点尤其快速的帮助我们反复的测试配置是否正确而不用写配置文件。使用CTRL-C命令可以退出之前运行的Logstash。
使用-e参数在命令行中指定配置是很常用的方式，不过如果需要配置更多设置则需要很长的内容。这种情况，我们首先创建一个简单的配置文件，并且指定logstash使用这个配置文件。 例如：在 logstash 安装目录下创建一个“基本配置”测试文件 logstash-test.conf， 文件内容如下：
# cat logstash-simple.conf
input { stdin { } }
output {
stdout { codec=> rubydebug }
Logstash 使用 input 和 output 定义收集日志时的输入和输出的相关配置，本例中 input 定义了一个叫 "stdin" 的 input ， output 定义一个叫 "stdout" 的 output 。无论我们输入什么字符， Logstash 都会按照某种格式来返回我们输入的字符，其中 output 被定义为 "stdout" 并使用了 codec 参数来指定 logstash 输出格式。
/usr/local/logstash-6.2.4/bin/logstash -f /usr/local/logstash-6.2.4/conf/logstash-simple.conf
"message" => "C++",
"@version" => "1",
"@timestamp" => "2016-08-18T10:05:47.352Z",
"host" => "localhost.localdomain"
5）后台运行Logstash
nohup /usr/local/logstash-6.2.4/bin/logstash -f /usr/local/logstash-6.2.4/conf/logstash-simple.conf & > /dev/null 2>&1
除了nohup之外，可以使用supervisor进行管理。
二、安装Elasticsearch
1）下载，并解压（无须编译），Elasticsearch 复制到local目录下，正式物理目录：/usr/local/elasticsearch-6.2.4
2）启动Elasticsearch
注意，我使用root权限来运行，但是Java抛出了Exception in thread "main" java.lang.RuntimeException: don't run elasticsearch as root，因此必须使用普通帐号运行。
/usr/local/elasticsearch-6.2.4/bin/elasticsearch
如果需要后台执行，执行以下命令：
/usr/local/elasticsearch-6.2.4/bin/elasticsearch -d
检查是否成功运行：9200端口是Elasticsearch对外的HTTP协议的API
[lizhibin@localhost local]$ netstat -nat | grep 9200
tcp6 0 0 127.0.0.1:9200 :::* LISTEN
3）配置logstash，并将结果输出到elasticsearch
修改logstash 的配置文件：
input { stdin { } }
output {
elasticsearch {hosts => "localhost" }
stdout { codec=> rubydebug }
执行logstash：/usr/local/logstash-6.2.4/bin/logstash -f /usr/local/logstash-6.2.4/conf/logstash-simple.conf，并测试输入日志记录
使用curl命令发送请求elasticsearch是否接受到了数据：
[root@localhost conf]# curl 'http://localhost:9200/_search?pretty'
"took" : 47,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits" : {
"total" : 4,
"max_score" : 1.0,
"hits" : [ {
"_index" : "logstash-2016.08.19",
"_type" : "logs",
"_id" : "AVah8wW7qomkeCHVJDgC",
"_score" : 1.0,
"_source" : {
"message" : "C++",
"@version" : "1",
"@timestamp" : "2016-08-19T08:37:46.727Z",
"host" : "localhost.localdomain"
}, {
"_index" : "logstash-2016.08.19",
三、安装Kibana
1）下载，解压（无须编译） 正式物理目录：/usr/local/kibana-6.2.4-linux-x86_64
2）配置和启动kibana
nohup /usr/local/kibana-6.2.4-linux-x86_64/bin/kibana & > /dev/null 2>&1
3）使用Kibana
使用 http://kibanaServerIP:5601 访问 Kibana 。登录后，先配置一个索引匹配。
操作步骤“Management”=>“Index Patterns”=>“Create Index Pattern”。logstash默认的索引名称是logstash-yyyy.mm.dd，比如logstash-2016.08.19，因此，我们在这里填写logstash-*即可。
填写后，提示找到了 Success! Your index pattern matches 10 indices。接下来点击Next Step，选择@timestamp来作为时间字段（注意，如果没选，我们就不能按照时间范围进行查询了）
点击“ Discover ”，可以搜索和浏览 Elasticsearch 中的数据，默认搜索的是最近 15分钟的数据。可以自定义选择时间。
OK，Logstash、Elasticsearch、Kibana就简单的部署好了。
ELK日志系统开发，Logstash收集nginx日志（二）
loophome
关注
关注
点赞
收藏
打赏
评论
ELK日志系统开发（Logstash、Elasticsearch、Kibana安装）（一）
一、安装Logstash！注意，logstash至少要有1G内存才能执行在安装Logstash之前，确保已经安装了Java的运行环境2）在官网（https://www.elastic.co/）下载Logstash，目前最新版本是6.x3）下载完成之后，加压（无须编译），并复制到local目录下，这个是我正式部署的目录：/usr/local/logstash-6.2.44）测试运...
复制链接
扫一扫
专栏目录
Linux部署搭建ELK
ECHOZCL的博客
01-29
2512
ELK环境搭建主要安装说明下载安装Elasticsearch下载安装Logstash添加索引及mapping下载安装Kibana（按实际需求安装）
主要安装说明
Elasticsearch：数据存储
Logstash：数据收集过滤器
Filebeat：另一类数据收集器
Kibana：数据统计查询视图显示
安装系统环境：Linux（redhat）
下载安装Elasticsearch
参考链接：如何在 Linux，MacOS 及 Windows 上进行安装 Elasticsearch_Elastic-CSDN
ELK在linux环境搭建步骤
weixin_42243889的博客
04-09
593
1 上传jdk11,kibana-7.2.0-linux-x86_64.tar.gz,elasticsearch-7.2.0-linux-x86_64.tar.gz,elasticsearch-analysis-ik-7.2.0.zip包
特别注意，elasticsearch-analysis-ik的版本需要与elasticsearch的版本一致
2 安装解压jdk1
tar -zxvf jdk-11_linux-x64_bin.tar.gz
vim /etc/profile 配置环境变量（i进入编
参与评论
您还未登录，请先
登录
后发表或查看评论
ELK保姆级安装部署教程
最新发布
xiangzhihong8的专栏
11-08
189
在后台开发中，日志系统是一个很重要的系统，一个架构良好的日志系统，可以帮助开发者更清楚的了解服务器的状态和系统安全状况，从而保证服务器的稳定运行。日志主要包括系统日志和应用程序日志，运维和开发人员可以通过日志了解服务器中软硬件的信息，检查应用程序或系统的故障，了解故障出现的原因，以便解决问题。目前，在大型的后端架构中，一个标准的数据采集方案通常被称为ELK，即ElasticSearch、Logstash和Kibana。当然，除了ELK，行业内还有一些轻量型数据采集方案，比如Beats、Loki。
linux搭建elasticsearch7.10集群及问题解决
Kiven_l的博客
03-07
1222
1.压缩包下载
下载地址：Download Elasticsearch | Elastic
curl下载
curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.2-linux-x86_64.tar.gz
tar -xzvf elasticsearch-7.10.2-linux-x86_64.tar.gz
cd elasticsearch-7.10.2
./bin/elasticsearch
Linux安装elasticsearch7.2和kibana7.2最新教程
Data & Analysis
12-31
434
2019年最新版centos7.6 elasticsearch安装坑爹教程终于在这个重庆凉爽的夏季来到,那么老夫就直奔主题了,首先需要说明的是,Linux安装JDK8(或者更高版本的)后配好环境变量,然后再安装elasticsearch搜索引擎(或者叫他全文检索框架吧),相信百度这个教程了估计JDK安装那个就不需要赘述了,还有值得提出来的就是elasticsearch5.0后的版本,6,7呀这些版...
CentOS7安装ELK7.2.0
qq_29324161的博客
04-12
163
CentOS7安装ELK7.2.01、下载安装包2、解压安装包3、创建ELK用户4、创建数据和日志文件夹，并修改权限5、修改配置文件6、启动ES如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入
1、下载安装包
wget https://artifacts.elastic.co/downloads/elas
ELK集群搭建(Linux系统:centos7)
qq_38497133的博客
06-20
275
一、复制虚拟机
首先复制已经搭好的ELK虚拟机：
右击已经搭好的虚拟机，选择复制，重命名复制的虚拟机名，将最都一个重新初始化所有网卡的MAC地址勾选中，这里我们将复制两个虚拟机。
复制ok后，对复制的两个虚拟机进行修改。首先是地址，这里我最初的虚拟机地址:192.168.56.111，另外两个地址，我这里将设成：192.168.56.112和192.168.56.113。修改完成之后，使用MobaXterm将三个虚拟机全都连上，分别打开MobaXterm。
二、修改主机名和主机列表
首先在主机地址
elk安装部署linux环境（亲测有效）
號先生的博客
03-21
3669
很早安装了，过来记录下。
一、ELK简介：
ELK 是三个开源框架的简写，分别是：Elasticsearch、Logstash、Kibana 。
框架简介作用
Elasticsearch开源分布式搜索引擎，提供存储、分析、搜索功能。特点：分布式、基于reasful风格、支持海量高并发的准实时搜索场景、稳定、可靠、快速、使用方便等。接收搜集的海量结构化日志数据，并提供给Kibana查询分析。
Logstash开源日志搜集、分析、过滤框架，支持多种数据输入输出方式。用于收集日志，对日志进行过滤形成
Linux下安装Logstash
博客
04-21
7193
一、安装Logstash
1.解压tar包
cd /data/app/elk/elk-6.8.5
tar zxvf logstash-6.8.5.tar.gz
2.配置config目录下的logstash.conf
# 数据输入部分
input {
# 读取nginx访问日志
file {
#path：监听文件的路径,绝对路径
path => "/data/app/nginx/logs/access.log" #为Nginx的access.log路径
Linux ELK安装及简单应用
赵昕彧
04-08
692
本文安装内容包括：elasticsearch、elasticsearch-head、kibana、logstash
安装包链接地址：https://www.elastic.co/cn/downloads/
一、ELK
ELK一般指的是elasticsearch、logstash、kibana三个组件的组合。其中elasticsearch是一个全文检索和分析的引擎，logstash是一个分布式日志收集系统，kibana可以提供可视化的web界面进行操作。
二、安装
PS：安装前请先安装jdk
1..
【Linux-ELK】安装部署文档（含数据备份与恢复）
琴韵悠悠
07-30
924
【Linux ELK】安装部署文档
LogStash安装
Fisher3652的博客
03-13
6568
目录1. 下载安装报2. 上传到服务器3. 启动 Logstash4. 连接 Elasticsearch
1. 下载安装报
这里选择7.14.0版本，下载地址
2. 上传到服务器
解压
tar -zxvf logstash-7.14.0-linux-x86_64.tar.gz
3. 启动 Logstash
Logstash 的启动命令位于安装路径的 bin 目录中，直接运行 logstash 不行， 需要按如下方式提供参数:
./logstash -e "input {stdin {
Logstash应用（安装+简单数据解析）
weixin_42151880的博客
05-26
188
安装Logstash
首先预先准备好你的 logstash 安装包，并打入 linux 系统中
例如：
我是将 logstash-6.2.2.tar.gz 导入 /opt/ 文件夹中
解压 logstash 包，并将其移动到我的软件库中
tar -zxf logstash-6.2.2.tar.gz
mv logstash-6.2.2 soft/logstash622
到此，软件安装成功，非常简单。
用Logstash解析简单数据
首先进入文件bin目录
cd /opt/soft/logstash622
elk的离线安装和问题处理
peter_wsh的博客
08-01
155
shell编码问题
Linux系统 ELK(8.3.1)单机环境搭建
大道至简
07-08
1225
Linux系统安装最新ELK单机环境
Kibana User Guide [4.2] » Getting Started with Kibana » Defining Your Index Patterns
wang_zhenwei的博客
11-18
845
Each set of data loaded to Elasticsearch has an index
pattern. In the previous section, the Shakespeare data set has an index named shakespeare,
and the accounts data set has an index named bank.
LINUX部署ELK
CX1544539968的博客
09-01
337
目录1.下载安装包2.启动elasticsearch3.启动kibana4.启动logstash5.springboot集成6.查看日志7.结语
1.下载安装包
elasticsearch: 链接
kibana: 链接
logstash: 链接
下载相同的版本，不建议使用最新的版本，可能会存在问题，当前部署的都采用的是7.9.3这个版本。全部移到/data/elk文件夹中，使用tar -zxvf fileName解压
2.启动elasticsearch
进入解压之后的elasticsearch中的conf
ELK在Linux下安装部署
月哥说了算的博客
03-25
200
一、部署的版本
二、部署顺序
部署的顺序如下：
1.kafka
2.logstash
3.elasticsearch
4.kibana
日志的收集顺序也是如此：先由Log4j2压入Kafka，然后通过Logstash进行解析后，存储至Elasticsearch，最后通过Kibana进行可视化展示。
下载的相关地址：
Kafka：http://kafka.apache.org/
另外三个：https://www.elastic.co/
三、部署
将四个压缩包通过FTP上传至服务器，然后解压，涉及到的命令如下
大数据——Linux系统中ELk的安装和配置
蜂蜜柚子加苦茶
09-08
305
Linux系统中ELk的安装和配置ELK简介ELK安装ELK配置es6配置启动elasticsearchnode和head配置启动head-masterkibana安装和配置启动kibanalogstash启动测试
ELK简介
ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。
特点：
分布式实时文件存储、检索、分析
零配置、集群自动发现
索引自动分片、副本机制
RESTful风格接口
多数据源
自动搜索负载
高可用
高扩展
一种NOSQL的数据存储工具
Linux安装ELK（排坑版）
zhengt666的博客
11-09
465
Linux安装ELK
废话不多说，直接上手
我这次准备安装的有ElasticSearch，Kibana，filebeat，apm，metricbeat.
先下载需要的压缩包，具体下载链接自己百度，因为我这是前辈留下的????.
两台服务器，一台作为资源服务器（监控装在这），一台项目服务器（信息采取在这）.
1. ElasticSearch安装
这里提一句，安装ELK需要首先安装jdk环境，这个很简单，网上有安装步骤，或者参考：https://blog.csdn.net/liu1160848595/artic
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：编程工作室
设计师：CSDN官方博客
返回首页
loophome
CSDN认证博客专家
CSDN认证企业博客
码龄11年
暂无认证
302
原创
2万+
周排名
37万+
总排名
127万+
访问
等级
1万+
积分
131
粉丝
203
获赞
89
评论
470
收藏
私信
关注
热门文章
MYSQL遇到Deadlock found when trying to get lock，解决方案
129872
php-fpm超时时间设置request_terminate_timeout分析
39287
redis之有序集合类型（Zset）——排行榜的实现
33371
PHP规范PSR0和PSR4的理解
33180
spring-boot中配置hikari连接池属性
26321
分类专栏
swoole学习笔记
6篇
ELK日志系统开发
4篇
运维经验
62篇
程序架构
15篇
PHP
81篇
办公软件
3篇
Mysql
18篇
MongoDB
1篇
linux
22篇
C/C++
28篇
memcache
5篇
redis
12篇
管理经验
7篇
Javascript
2篇
.Net
4篇
全文索引
1篇
系统架构
6篇
自动化测试
5篇
Lua
2篇
Nginx
2篇
设计模式
1篇
大数据处理
7篇
异步编程
1篇
swoole
5篇
算法
16篇
Java
78篇
flutter
1篇
最新评论
ImageIO.read(InputStream)返回null问题
Wayne96:
我单纯要字节码读出来的也是空的为啥。而且即使从你的项目里看也不应该是因为没有文件信息就直接返回null吧，里面数组不是空的啊
PHP写日志fwrite和file_put_contents的区别与性能
machealx:
我觉得为了更加公平，应该把fopen和fclose都写到循环里面去。这才算是公平。
ELK日志系统开发，Kibana简单实用Discover（三）
ACTIM__:
麻烦问下，转义字符在kql中怎么使用？比如我要搜索一个冒号或者斜杠应该怎么写？
MYSQL遇到Deadlock found when trying to get lock，解决方案
xujunfeng0725:
不会有人看不懂deadlock吧
MYSQL之union和order by分析([Err] 1221 - Incorrect usage of UNION and ORDER BY)
qq_52144459:
我想问下limit 后面的参数，我需先count一下，再传进去？ 还是我直接limit 99999999 ，这样代码不得被领导叼死去
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
HIVE，SparkSql和Presto对比
JAVA keytool工具使用，生成证书
Comparators should be “Serializable“ (squid:S2063)
2022年1篇
2021年6篇
2020年21篇
2019年55篇
2018年58篇
2017年41篇
2016年41篇
2015年119篇
目录
目录
分类专栏
swoole学习笔记
6篇
ELK日志系统开发
4篇
运维经验
62篇
程序架构
15篇
PHP
81篇
办公软件
3篇
Mysql
18篇
MongoDB
1篇
linux
22篇
C/C++
28篇
memcache
5篇
redis
12篇
管理经验
7篇
Javascript
2篇
.Net
4篇
全文索引
1篇
系统架构
6篇
自动化测试
5篇
Lua
2篇
Nginx
2篇
设计模式
1篇
大数据处理
7篇
异步编程
1篇
swoole
5篇
算法
16篇
Java
78篇
flutter
1篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
loophome
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值