如何使用logstash同步nginx日志到数据库-创新互联

概述

让客户满意是我们工作的目标，不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户，将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴，公司提供的服务项目有：主机域名、网站空间、营销软件、网站建设、双峰网站维护、网站推广。

logstash

logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供里很多功能强大的滤网以满足你的各种应用场景。

Nginx

Nginx(engine x) 是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP服务器。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like 协议下发行。其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好。

1.logstash安装（jdk提前安装1.8）

rpm -ivh logstash-6.6.2.rpm

2.上传数据库驱动jar包

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.48.tar.gz

mkdir -p /usr/share/logstash/vendor/jar/jdbc cd /usr/share/logstash/vendor/jar/jdbc [root@localhost soft]# cd /usr/share/logstash/vendor/jar/jdbc [root@localhost jdbc]# ll total 984 -rw-r--r--. 1 logstash logstash 1006959 Jul 11 19:43 mysql-connector-java-5.1.48-bin.jar [root@localhost jdbc]#

3.数据库创建库 并授权用户

create database nginxlog; use nginxlog; CREATE TABLE `consumerlog` (   `client_ip` varchar(128) DEFAULT NULL,   `log_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,   `status` int(6) DEFAULT NULL,   `http_referer` text,   `AgentVersion` varchar(512) DEFAULT NULL, )  grant all  on  nginxlog.* to  nginxlog@'%'  identified  by  '123456';

4.安装 logstash-output-jdbc插件

vim /usr/share/logstash/Gemfile # source "https://rubygems.org"  将国外的源注释,换成国内的 source "https://gems.ruby-china.com/"/usr/share/logstash/bin/logstash-plugin install logstash-output-jdbc

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

网站名称：如何使用logstash同步nginx日志到数据库-创新互联
文章来源：http://6mz.cn/article/csegis.html