ELKStack企业日志-创新互联
一、ELK介绍
ELKStacks是一个技术栈的组合，分别是Elasticsearch、Logstash、Kibana
创新互联是一家专业提供磐石企业网站建设,专注与做网站、成都做网站、HTML5建站、小程序制作等业务。10年已为磐石众多企业、政府机构等服务。创新互联专业的建站公司优惠进行中。ELK Stack：
1、扩展性：采用高扩展性分布式架构设计，可支持每日TB级数据
2、简单易用：通过图形页面可对日志数据各种统计，可视化
3、查询效率高：能做到秒级数据采集、处理和搜索
https://www.elastic.co/cn/products/elasticsearch
https://www.elastic.co/cn/products/kibana
https://www.elastic.co/cn/products/beats/filebeat
https://www.elastic.co/cn/products/beats/metricbeat
二、ELK架构
Logstash ：开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据存储到数据库中。
Elasticsearch：搜索、分析和存储数据。
Kibana：数据可视化。
Beats ：轻量型采集器的平台，从边缘机器向 Logstash 和 Elasticsearch 发送数据。
Filebeat：轻量型日志采集器。
https://www.elastic.co/cn/
https://www.elastic.co/subscriptions
Input：输入，输出数据可以是Stdin、File、TCP、Redis、Syslog等。
Filter：过滤，将日志格式化。有丰富的过滤插件：Grok正则捕获、Date时间处理、Json编解码、Mutate数据修改等。
Output：输出，输出目标可以是Stdout、File、TCP、Redis、ES等。
三、ElasticSearch
3.1 基本概念
Node：运行单个ES实例的服务器
Cluster：一个或多个节点构成集群
Index：索引是多个文档的集合
Document：Index里每条记录称为Document，若干文档构建一个Index
Type：一个Index可以定义一种或多种类型，将Document逻辑分组
Field：ES存储的最小单元
Shards：ES将Index分为若干份，每一份就是一个分片
Replicas：Index的一份或多份副本
ES | 关系型数据库（比如Mysql） |
Index | Database |
Type | Table |
Document | Row |
Field | Column |
3.2 集群部署
首先做好系统的初始化配置，安装好jdk
#1) System initialization on each Servers cat >> /etc/security/limits.conf << EOF * hard memlock unlimited * soft memlock unlimited * - nofile 65535 EOF cat > /etc/sysctl.conf << EOF net.ipv6.conf.all.disable_ipv6 = 1 net.ipv6.conf.default.disable_ipv6 = 1 vm.swappiness = 0 vm.max_map_count=262144 vm.dirty_ratio=10 vm.dirty_background_ratio=5 net.ipv4.tcp_fin_timeout = 30 net.ipv4.tcp_keepalive_time = 1200 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_max_syn_backlog = 8192 net.ipv4.tcp_max_tw_buckets = 5000 net.ipv4.ip_local_port_range = 10000 65000 EOF sysctl -p setenforce 0 sed -i 's/^SELINUX=.*$/SELINUX=disabled/' /etc/selinux/config systemctl stop firewalld.service systemctl disable firewalld.service #2) Install JDK on each Servers wget -c http://download.cashalo.com/schema/auto_jdk.sh source auto_jdk.sh
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
分享题目：ELKStack企业日志-创新互联
分享地址：http://6mz.cn/article/ccgsjp.html