十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
这期内容当中小编将会给大家带来有关怎么在Security中安装 Elastic SIEM 与 EDR,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。
站在用户的角度思考问题,与客户深入沟通,找到叶县网站设计与叶县网站推广的解决方案,凭借多年的经验,让设计与互联网技术结合,创造个性化、用户体验好的作品,建站类型包括:网站设计、成都网站制作、企业官网、英文网站、手机端网站、网站推广、域名注册、网络空间、企业邮箱。业务覆盖叶县地区。安装 Elasticsearch
首先安装 transport-https
sudo apt-get install curl apt-transport-https
接下来,将 Elastic 仓库添加到你的源列表。
curl -s https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-7.x.list
然后更新。
sudo apt update
现在安装 Elasticsearch
sudo apt-get install elasticsearch
对于中国有的开发者来说,上面的安装步骤可能会很慢,一种办法就是直接到网址 https://www.elastic.co/downloads/ 直接下载 Elasticsearch 的 deb 安装包,并按如下的命令来进行安装:
sudo dpkg -i elasticsearch-7.11.1-amd64.deb
安装 Elasticsearch 之后,我们需要对其配置文件进行几处更改。 该文件位于 /etc/elasticsearch/elasticsearch.yml 中。要访问此文件,你需要 root 特权。
首先,我们需要更改 network.host 值。 其默认设置为localhost。 将其更改为安装了 Elasticsearch 的主机的 IP 地址。
cluster.name: demo-elk node.name: elk-1 network.host: 0.0.0.0 discovery.type: single-node
现在,你应该准备启动 Elasticsearch 并检查它是否已正确启动。
sudo service elasticsearch start
我们可以使用如下的命令来查看 elasticsearch 服务的状态:
service elasticsearch status
如上所示,如果我们看到 Elasticsearch 服务的状态为 active,则表明它的安装是成功的。
你还可以通过运行以下命令来检查 Elasticsearch 是否可从其他主机访问:
curl http://:9200
输出应类似于以下内容:
运行以下命令以安装 Kibana。
sudo apt install kibana
对于中国有的开发者来说,上面的安装步骤可能会很慢,一种办法就是直接到网址 https://www.elastic.co/downloads/ 直接下载 Kibana 的 deb 安装包,并按如下的命令来进行安装:
sudo dpkg -i kibana-7.11.1-amd64.deb
一旦安装完成后,编辑 /etc/kibana/kibana.yml 并指定托管 Kibana 的 IP 地址。
server_port: 5601 server_host: 0.0.0.0 server_name: demo-kibana
在上面,我们可以只修改 server_host 即可,其它的我们可以使用默认的配置即可。设置 server_host 为 0.0.0.0 为的是我们可以在其它的机器上访问当前的 Kibana。我们可以使用 Ubuntu 机器的 IP 地址加上端口 5601 就可以访问了。
启动 Kibana 并检查其状态。
sudo service kibana start sudo service kibana status
如果我们能看到状态为 active,则表明我们的安装是成功。我们可以通过另外一个电脑来访问 Kibana:
你如果能看到上面的画面,则表明你的安装是成功的。
Filebeat 用于将数据从设备传送到 Elasticsearch。 对于不同的产品,有许多不同的 Filebeat 模块,它们以所需的格式将日志和数据发送到 Elasticsearch。 在此示例中,我们将模块用于 Zeek,但是 Elastic 也扩展了其对其他产品的支持,包括 AWS,CrowdStrike,ZScaler 等。
目前,我们只打算在运行 Zeek 的主机上安装 Filebeat,我们稍后会对其进行配置。
sudo apt-get install filebeat
对于中国有的开发者来说,上面的安装步骤可能会很慢,一种办法就是直接到网址 https://www.elastic.co/downloads/ 直接下载 Filebeat 的 deb 安装包,并按如下的命令来进行安装:
sudo dpkg -i filebeat-7.11.1-amd64.deb
现在,我们准备着手安装 Zeek。 首先,我们需要安装所有必备组件。 通过运行以下命令来执行此操作。
sudo apt-get install cmake make gcc g++ flex bison libpcap-dev libssl-dev python-dev swig zlib1g-dev
接下来,我们需要为 Zeek 创建工作目录,由于某些原因,Zeek 在安装时默认不执行此操作。
sudo mkdir /opt/zeek sudo chown -R root:root /opt/zeek sudo chmod 740 /opt/zeek
接下来下载带有 GIT 的 Zeek
git clone --recursive https://github.com/zeek/zeek
等下载完文件,进入 zeek 下载目录。 然后将我们先前创建的 /opt/zeek 目录设置为安装目录。
cd /home/$USER/zeek ./configure --prefix=/opt/zeek
在上面,我们假设你把 zeek 的文件 clone 到 home 目录下的 zeek 目录。现在,我们准备安装 Zeek,运行以下 make 命令,然后将其保留安装(这可能需要一些时间)
make sudo make install
接下来,我们需要添加 PATH 环境变量
export PATH=/opt/zeek/bin:$PATH
我们可以在 /opt/zeek/etc 找到一个叫做 node.cfg 的配置文件。
# pwd /opt/zeek/etc root@liuxgu:/opt/zeek/etc# ls networks.cfg node.cfg zeekctl.cfg zkg
这个文件包含对 zeek 的节点配置。我们需要配置我们的 interface:
node.cfg
上面的 interface, 我们可以通过 ifconfig 命令来获得本机的接口。另外,我们需要安装 sendmail,否则在运行 zeek 时会发生无法找到 sendmail 的错误。
sudo apt-get install sendmail
现在,我们准备运行下面的命令来部署 Zeek。我们需要在 root 账号下运行:
zeekctl deploy
我们可以在 /opt/zeek/logs 目录里发现日志。“current” 目录保存当天的日志,而前几天的日志则存档到其自己的目录中。 还有一个针对不同数据类型的日志文件,例如 DNS 连接,HTTP 连接等。
让我们检查DNS日志
# pwd /opt/zeek/logs root@liuxgu:/opt/zeek/logs# ls 2021-02-24 current
就目前而言,我们在 ELK 部署中拥有的功能是日志提取和可视化。 我们可以将日志提取到 Elastisearch 中,并通过 Kibana 可视化来处理数据,但是缺少 SIEM 的核心功能。 我们无法建立检测或用例。 此功能不是“开箱即用”的,要使用它,我们必须首先在所有不同节点之间配置安全性。 X-Pack 是 Elastic 软件包,它基本上负责所有 Elastic Security 功能。
所需的一个关键组件是配置每个节点之间的 SSL 连接,可以通过多种方法进行。 我们也将使用 X-Pack 来执行此操作。
首先,在安装了 Elasticsearch 的主机上,我们需要创建一个 YAML 文件 /usr/share/elasticsearch/instances.yml,它将包含我们要使用 SSL 保护的不同节点/实例。 就我而言,我只有 Elasticsearch,Kibana 和 Zeek。
/usr/share/elasticsearch/instances.yml
instances: - name: "elasticsearch" ip: - "192.168.0.4" - name: "kibana" ip: - "192.168.0.4" - name: "zeek" ip: - "192.168.0.4"
接下来,我们将使用 Elastic 的 certutil 工具为我们的实例生成证书。 这也将生成一个证书颁发机构(Certificate Authority)。
/usr/share/elasticsearch/bin/elasticsearch-certutil cert ca --pem --in instances.yml --out certs.zip
这将为我们的每个实例创建一个 .crt 和 .key 文件,以及一个 ca.crt 文件。你可以使用 unzip 来解压缩不同的证书。
unzip /usr/share/elasticsearch/certs.zip -d /usr/share/elasticsearch/
现在我们有了我们的证书,我们可以配置每个实例。
首先,我们需要创建一个文件夹将你的证书存储在我们的 Elasticsearch 主机上。
mkdir /etc/elasticsearch/certs/ca -p
接下来,我们需要将解压缩的证书复制到其相关文件夹中并设置正确的权限。
cp ca/ca.crt /etc/elasticsearch/certs/ca cp elasticsearch/elasticsearch.crt /etc/elasticsearch/certs cp elasticsearch/elasticsearch.key /etc/elasticsearch/certs chown -R elasticsearch: /etc/elasticsearch/certs chmod -R 770 /etc/elasticsearch/cert
接下来,我们需要将 SSL 配置添加到我们的 /etc/elasticsearch/elasticsearch.yml 文件中。
/etc/elasticsearch/elasticsearch.yml
# Transport layer xpack.security.transport.ssl.enabled: true xpack.security.transport.ssl.verification_mode: certificate xpack.security.transport.ssl.key: /etc/elasticsearch/certs/elasticsearch.key xpack.security.transport.ssl.certificate: /etc/elasticsearch/certs/elasticsearch.crt xpack.security.transport.ssl.certificate_authorities: [ "/etc/elasticsearch/certs/ca/ca.crt" ] # HTTP layer xpack.security.http.ssl.enabled: true xpack.security.http.ssl.verification_mode: certificate xpack.security.http.ssl.key: /etc/elasticsearch/certs/elasticsearch.key xpack.security.http.ssl.certificate: /etc/elasticsearch/certs/elasticsearch.crt xpack.security.http.ssl.certificate_authorities: [ "/etc/elasticsearch/certs/ca/ca.crt" ]
现在重新启动 Elasticsearch。
service elasticsearch restart
现在,我们将重复此过程,但这一次是 Kibana。 Kibana 的配置略有不同。同样,将你的证书移动到正确的文件夹并设置正确的权限。
注意:以下步骤假定你正在运行独立的 ELK 配置。 如果你正在运行分布式部署,则需要将证书移至适当的主机。
mkdir /etc/kibana/certs/ca -p cp ca/ca.crt /etc/kibana/certs/ca cp kibana/kibana.crt /etc/kibana/certs cp kibana/kibana.key /etc/kibana/certs chown -R kibana: /etc/kibana/certs chmod -R 770 /etc/kibana/certs
接下来,在文件 /etc/kibana/kibana.yml 中,在 Elasticsearch 和 Kibana 之间添加SSL设置。
/etc/kibana/kibana.yml
# The URLs of the Elasticsearch instances to use for all your queries. elasticsearch.hosts: ["https://192.168.0.4:9200"] elasticsearch.ssl.certificateAuthorities: ["/etc/kibana/certs/ca/ca.crt"] elasticsearch.ssl.certificate: "/etc/kibana/certs/kibana.crt" elasticsearch.ssl.key: "/etc/kibana/certs/kibana.key"
然后在同一文件中,在 Kibana 和浏览器之间添加配置。
# These settings enable SSL for outgoing requests from the Kibana server to the browser. server.ssl.enabled: true server.ssl.certificate: "/etc/kibana/certs/kibana.crt" server.ssl.key: "/etc/kibana/certs/kibana.key"
然后,重新启动 Kibana。
service kibana restart
下一步,我们需要为运行 Zeek 和 Beats 的主机配置 SSL。 如果你没有运行 Zeek 或其他使用 Filebeats 模块的产品,例如 Suricata,Windows Event Log 等,则可以跳过此步骤。
首先将证书复制到运行 Zeek 的主机上,然后使用正确的权限创建证书目录。 您需要同时复制 Zeek 证书和 CA 证书。
mkdir /etc/filebeat/certs/ca -p cp ca/ca.crt /etc/filebeat/certs/ca cp zeek/zeek.crt /etc/filebeat/certs cp zeek/zeek.key /etc/filebeat/certs chmod 770 -R /etc/filebeat/certs
接下来,我们需要将更改添加到 /etc/filebeat/filebeat.yml。
首先,我们的 Elasticsearch 配置设置。
# Elastic Output output.elasticsearch.hosts: ['192.168.0.4:9200'] output.elasticsearch.protocol: https output.elasticsearch.ssl.certificate: "/etc/filebeat/certs/zeek.crt" output.elasticsearch.ssl.key: "/etc/filebeat/certs/zeek.key" output.elasticsearch.ssl.certificate_authorities: ["/etc/filebeat/certs/ca/ca.crt"]
然后是我们的 Kibana 配置设置。
setup.kibana: host: "https://192.168.0.4:5601" ssl.enabled: true ssl.certificate_authorities: ["/etc/filebeat/certs/ca/ca.crt"] ssl.certificate: "/etc/filebeat/certs/zeek.crt" ssl.key: "/etc/filebeat/certs/zeek.key"
然后重新启动 Filebeat。
service filebeat restart
现在,你可以通过运行以下命令来检查 FileBeats 是否可以连接到 Elasticsearch。 一切都应该返回“OK”。
filebeat test output
我们还需要向 Elasticsearch 添加身份验证。 这很容易做到。 首先通过编辑 /etc/elasticsearch/elasticsearch.yml 启用安全
/etc/elasticsearch/elasticsearch.yml
# X-Pack Setting xpack.security.enabled: true
设置完上面,我们必须重新启动 Elasticsearch:
service elasticsearch restart
接下来,我们需要为所有内置的 Elasticsearch 角色和用户生成密码。 Elasticsearch 附带了一个工具来执行此操作。 运行以下命令以生成这些密码并将其保存在安全的地方(密码管理器)。
/usr/share/elasticsearch/bin/elasticsearch-setup-passwords interactive
为了方便,我将把所有的账号的密码都设置为 password。
我们可以通过另外一个机器来访问 ubuntu 机器 https://ubuntu.9200。当 Chrome 浏览器上出现如下的画面时:
我们在当前的页面打入如下的字符串:
thissisunsafe
我们就可以看到:
我们把用户名及密码 elastic/password 输入进去即可:
针对 Kibana,我们需要修改 /etc/kibana/kibana.yml 文件,并把相应的用户名及密码填入:
/etc/kibana/kibana.yml
elasticsearch.username: "kibana_system" elasticsearch.password: "password"
修改完后,我们必须重新启动 Kibana:
service kibana restart
我们也可以按照同样的方法来启动 Kibana https://ubuntu:5601。
接下来,将新创建的 Elasticsearch 凭证添加到我们的 Filebeat 配置文件中:
/etc/filebeat/filebeat.yml
# Elastic Credentials output.elasticsearch.username: "elastic" output.elasticsearch.password: "Your_Elastic_Pass_Here"
我们需要重新启动 Filebeat:
service filebeat restart
添加 Zeek 数据到 Elasticsearch
我们可以通过 Filebeat 把 Zeek 的日志信息导入到 Elasticsearch 中去。首先,我们必须启动 zeek 模块。我们打开 Kibana 的界面:
里面有详细的步骤介绍如何配置 Filebeat。首先,我们需要使用如下的命令来启动 zeek 模块:
sudo filebeat modules enable zeek
$ sudo filebeat modules enable zeek Enabled zeek
完成后,我们需要配置 Zeek 将 Zeek 日志转换为 JSON 格式。 首先,停止 Zeek 的运行。然后将 @load policy / tuning / json-logs.zeek 行编辑到文件 /opt/zeek/share/zeek/site/local.zeek
保存好文件,并重新启动 zeek:
zeekctl deploy
现在检查日志是否为 JSON 格式。 即使你不熟悉 JSON,日志的格式也应该与以前明显不同。
tail -f /opt/zeek/logs/current/dns.log
然后编辑配置文件 /etc/filebeat/modules.d/zeek.yml。 我们需要指定 Zeek 创建的每个单独的日志文件,或者至少指定我们希望 Elasticsearch 提取的日志文件。 对于 /opt/zeek/logs/ 文件夹中的每个日志文件,必须定义 “current” 日志的路径以及以前的任何日志,如下所示。
dns: enabled: true var.paths: [ "/opt/zeek/logs/current/dns.log", "/opt/zeek/logs/*.dns.json" ]
如果 opt 文件夹中有一些默认日志文件(例如 capture_loss.log),你不希望 Elasticsearch 提取这些文件,则只需将 “enabled” 字段设置为 false。 重要的是,将在 /opt/zeek/logs中没有日志文件的所有日志源设置为 enabled: false,否则会收到错误消息。 此外,请务必注意间距,因为 YML 文件对空格敏感。在我的 current 目录中我们可以看到如下的文件:
root@liuxgu:/opt/zeek/logs/current# ls capture_loss.log http.log ntp.log ssh.log weird.log conn.log known_services.log packet_filter.log stats.log dhcp.log loaded_scripts.log reporter.log stderr.log dns.log notice.log software.log stdout.log
那么我们的 /etc/filebeat/modules.d/zeek.yml 最终格式为:
json
完成后,你应该可以很好地启动 Filebeat 并启动该服务。
sudo filebeat setup sudo service filebeat restart
我们将在 Kibana 中看到如下的信息:
点击上面的 Zeek Overview 按钮, 我们将看到 Zeek 的信息:
如果你转到 SIEM 应用程序中的网络仪表板,则应该看到使用 Zeek!数据填充的不同仪表板! 这里的仪表板很好地概述了从网络中收集的一些数据。
一旦完成上述所有步骤,并将数据提取到 Elasticsearch 中,你可能会注意到仍然无法创建检测。
点击上面的 View document。这是我们最后要完成的步骤。 编辑你的 Kibana 配置件 /etc/kibana/kibana.yml,然后添加 xpack.encryptedSavedObjects.encryptionKey。 我相信这可以是任何32个字符串。
xpack.security.enabled: true # xpack.fleet.agents.tlsCheckDisabled: true xpack.encryptedSavedObjects.encryptionKey: "something_at_least_32_characters"
重新启动 Kibana:
service kibana restart
经过上面的设置后,我们终于可以创建检测规则了:
现在,我们准备安装 Elastic endpoint。首先,通过单击侧面菜单上管理标签下的链接,导航到 “Fleet” 仪表板。
如果我们现在将代理安装到 Windows 主机上,则会收到一个错误消息,即我们的自签名证书来自不受信任的来源,并且代理安装将失败。因此,我们需要做的是将我们的 CA 证书添加为 Windows 主机上的受信任证书。
首先在 Windows 搜索栏中搜索 “本地安全策略”。 然后转到安全设置 >公钥策略 >证书路径验证设置
然后,选中“定义这些策略设置”,然后选中 “允许使用用户信任的根CA来验证证书” 和 “允许用户信任对等信任证书” 选项(如果尚未选中)。
最后,选中 “第三方根CA 和企业根CA”。单击 “应用”,然后单击 “确定”。
接下来在 Windows 搜索栏中搜索 certmgr.msc。
然后转到 “受信任的根证书颁发机构” > “证书”,右键单击空白处的任意位置,然后选择 “所有任务” > “导入”
然后简单地按照向导操作,并选择我们之前创建的 ca.crt。
上述就是小编为大家分享的怎么在Security中安装 Elastic SIEM 与 EDR了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注创新互联行业资讯频道。