快上网专注成都网站设计 成都网站制作 成都网站建设
成都网站建设公司服务热线：028-86922220

网站建设知识

十年网站开发经验 + 多家企业客户 + 靠谱的建站团队

量身定制 + 运营维护+专业推广+无忧售后，网站问题一站解决

MFS分布式文件系统搭建与监控详解-创新互联

MFS介绍

创新互联专业为企业提供濠江网站建设、濠江做网站、濠江网站设计、濠江网站制作等企业网站建设、网页设计与制作、濠江企业网站模板建站服务，十余年濠江做网站经验，不只是建网站，更提供有价值的思路和整体网络服务。

官网地址：http://www.moosefs.com/

MooseFS是一个具有容错性的网络分布式文件系统。

它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。通用文件系统,不需要修改上层应用就可以使用，通过附加新的计算机或者硬盘可以实现容量的动态扩展，体系架构可伸缩性极强，删除的文件可以根据配置的时间周期进行保留（一个文件系统级别的回收站），高可靠（数据的多个拷贝被存储在不同的计算机上），提供 web 监控接口，提高随机读或写的效率，提高海量小文件的读写效率。但是mfs 把文件系统的结构缓存到 master 的内存中,文件越多,master 的内存消耗越大,8g 对应 2500w 的文件数,2 亿文件就得 64GB 内存。支持特殊文件（块和字符设备、管道以及套接字），符号连接和硬连接。

包括以下四种角色：

角色作用
管理服务器 managing server (master)负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复.多节点拷贝
元数据日志服务器 Metalogger server（Metalogger）负责备份 master 服务器的变化日志文件，文件类型为 changelog_ml.*.mfs，以便于在 master server 出问题的时候接替其进行工作
数据存储服务器 data servers (chunk servers )听从管理服务器调度,提供存储空间，并为客户提供数据传输.。 真正存储用户数据的服务器。存储文件时，首先把文件分成块，然后这些块在数据服务器 chunkserver之间复 制（复制份数可以手工指定，建议设置副本数为 3）。数据服务器可以是多个，并且数量越多，可使用的“磁盘空间”越大，可靠性也越高。
客户机挂载使用 client computers挂载进程 mfs 服务器共享出的存储并使用。 通过 fuse 内核接口挂载进程管理服务器上所管理的数据存储服务器共享出的硬盘。 共享的文件系统的用法和 nfs 相似。 使用 MFS 文件系统来存储和访问的主机称为 MFS 的客户端，成功挂接 MFS 文件系统以后，就可以像以前使用 NFS 一样共享这个虚拟性的存储了。

实验环境介绍

基本环境表

主机操作系统IP地址主要软件
Master ServerCentos7.3192.168.137.10moosefs.x86_64.0.3.0.101-1
Metalogger ServerCentos7.3192.168.137.11moosefs.x86_64.0.3.0.101-1
Chunk server1Centos7.3192.168.137.12moosefs.x86_64.0.3.0.101-1
Chunk server2Centos7.3192.168.137.13moosefs.x86_64.0.3.0.101-1
ClientCentos7.3192.168.137.14moosefs.x86_64.0.3.0.101-1

拓扑图

MFS分布式文件系统搭建与监控详解

操作步骤

  • 五台虚拟机模拟搭建MFS文件系统

  • 关闭防火墙及selinux

    systemctl stop firewalld
    setenforce 0

    搭建Master Server

    安装软件

    curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
    curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加适当的库条目
    yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli –y

    配置文件解释

    cd /etc/mfs/

    -rw-r--r--. 1 root root 4057 9月 27 15:18 mfsexports.cfg        //输出目录配置文件
    -rw-r--r--. 1 root root 4057 7月 20 19:16 mfsexports.cfg.sample
    -rw-r--r--. 1 root root 9015 9月 27 15:18 mfsmaster.cfg        //Master配置文件
    -rw-r--r--. 1 root root 9015 7月 20 19:16 mfsmaster.cfg.sample
    -rw-r--r--. 1 root root 1052 9月 27 15:18 mfstopology.cfg     //元数据日志
    -rw-r--r--. 1 root root 1052 7月 20 19:16 mfstopology.cfg.sample

    启动服务

    systemctl start moosefs-master
    systemctl enable moosefs-master
    netstat -ntap | grep mfs

    tcp       0     0 0.0.0.0:9419           0.0.0.0:*               LISTEN     6217/mfsmaster     
    tcp       0     0 0.0.0.0:9420            0.0.0.0:*              LISTEN     6217/mfsmaster     
    tcp       0     0 0.0.0.0:9421           0.0.0.0:*              LISTEN     6217/mfsmaster

    搭建MetalLogger Server

    安装

    curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
    curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加适当的库条目
    yum install moosefs-metalogger –y

    修改配置文件

    vim /etc/mfs/mfsmetalogger.cfg

    MASTER_HOST = 192.168.137.10          //第52行，去除注释，改地址指向主服务器。

    启动服务

    systemctl start moosefs-metalogger
    systemctl enable moosefs-metalogger
    netstat -ntap | grep mfs

    tcp       0     0 192.168.137.11:36766   192.168.137.10:9419     ESTABLISHED 73521/mfsmetalogger

    搭建Chunk Server

    这两台Chunk Server的搭建步骤是完全相同

    安装

    curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
    curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加适当的库条目
    yum install moosefs-chunkserver –y

    修改配置文件

    修改一

    vim /etc/mfs/mfschunkserver.cfg

    MASTER_HOST = 192.168.137.10    //第77行，将地址指向主服务器

    修改二

    vim /etc/mfs/mfshdd.cfg
    /gongxiang            //在末行添加共享目录

    mkdir /gongxiang     //创建共享目录

    chown -R mfs:mfs /gongxiang   //为共享目录授权

    启动服务

    systemctl start moosefs-chunkserver
    systemctl enable moosefs-chunkserver
    netstat -ntap | grep mfs

    tcp       0     0 0.0.0.0:9422           0.0.0.0:*               LISTEN     71921/mfschunkserve
    tcp       0     0 192.168.137.13:59006    192.168.137.10:9420    ESTABLISHED 71921/mfschunkserve

    Client的搭建

    安装

    curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
    curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加适当的库条目
    yum install moosefs-client –y

    加载fuse模块至内核

    modprobe fuse

    挂载共享目录

    mkdir /opt/mfs   //创建挂载点
    mfsmount /opt/mfs/ -H 192.168.137.10  //挂载，地址为master地址

    df –h

    文件系统            容量 已用 可用 已用% 挂载点
    /dev/sda6            21G 4.1G   17G  20% /
    devtmpfs            896M    0 896M   0% /dev
    tmpfs               911M    0 911M   0% /dev/shm
    tmpfs               911M  11M 900M   2% /run
    tmpfs               911M    0 911M   0% /sys/fs/cgroup
    /dev/sda2           9.8G  33M 9.8G   1% /opt
    /dev/sda3           4.9G  89M 4.8G   2% /home
    /dev/sda1           1014M 165M 850M  17% /boot
    tmpfs               183M  64K 183M   1% /run/user/1000
    tmpfs               183M    0 183M   0% /run/user/0
    192.168.137.10:9421  58G 8.1G  50G  14% /opt/mfs

  • MFS监控

  • 主服务器上开启监控

  • mfscgiserv
    lockfile created and locked
    starting simple cgi server (host: any , port: 9425 , rootpath: /usr/share/mfscgi)

    访问192.168.137.10：9425     主机地址

    填写主服务器地址

    MFS分布式文件系统搭建与监控详解
    界面

    MFS分布式文件系统搭建与监控详解MFS分布式文件系统搭建与监控详解

    MFS分布式文件系统搭建与监控详解

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。


名称栏目：MFS分布式文件系统搭建与监控详解-创新互联
当前URL：http://6mz.cn/article/dshgpo.html

其他资讯