分布式存储MFS构建
构建环境：
mfs-master 192.168.1.170
mfs-matedata 192.168.1.171
mfs-chunkserver 192.168.1.172
mfs-chunkserver 192.168.1.173
mfs-chunkserver 192.168.1.174
mfs-client 192.168.1.175
1、mfs-master配置
[root@localhost ~]#yum install rpm-build gcc gcc-c++ fuse-devel zlib-devel -y
[root@localhost ~]#useradd -M -s /sbin/nologin mfs #运行mfs的用户
[root@localhost ~]#tar -zxvf moosefs-3.0.115.tar.gz
[root@localhost ~]#cd moosefs-3.0.115/
[root@localhost moosefs-3.0.115]#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs
[root@localhost moosefs-3.0.115]#make -j 4 && make install
[root@localhost moosefs-3.0.115]# chown -R mfs.mfs /usr/local/mfs/
[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/sbin/* /usr/sbin/
[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/bin/* /usr/bin/
[root@localhost ~]# chmod a+x /usr/local/mfs/bin/*
[root@localhost ~]# chmod a+x /usr/local/mfs/sbin/*
[root@localhost ~]# cd /usr/local/mfs/etc/mfs/
2、启动master节点配置文件
[root@localhost mfs]# cp -a mfsmaster.cfg.sample mfsmaster.cfg #启动master节点配置文件
[root@localhost mfs]# vim mfsmaster.cfg #不用更改配置文件，默认即可
3、主配置配置文件说明解释：
WORKING_USER = mfs
WORKING_GROUP = mfs
SYSLOG_IDENT = mfsmaster #在 syslog 中的表示， 说明这是 mfsmaster 产生的
LOCK_MEMORY = 0 # 是否执行 mlockall()以避免 mfsmaster 内存溢出（默认为 0）
NICE_LEVEL = -19 # 运行的优先级（默认-19， 注意， 这进程必须是 root 启动 ）
DATA_PATH = /usr/local/mfs/var/mfs #数据存放路径，该目录下有三大类文件
changelog,sessions,stats
EXPORTS_FILENAME = /usr/local/mfs/etc/mfs/mfsexports.cfg #被挂载目录以及其权限控制文件的存放位置
BACK_LOGS = 50 #元数据的改变日志文件数量（默认是 50）
MATOML_LISTEN_HOST = * # 元数据日志服务器监听的 IP 地址（默认是*， 代表任何 IP）
MATOML_LISTEN_PORT = 9419 # 元数据日志服务器监听的端口地址， 默认是 9419
MATOCS_LISTEN_HOST = * # 用于存储服务器（Chunk Server） 连接的 IP 地址
MATOCS_LISTEN_PORT = 9420 # 是存储服务器（Chunk server） 连接的端口地址
REPLICATIONS_DELAY_INIT = 300 # 延迟复制的时间（默认是 300）
CHUNKS_LOOP_MIN_TIME = 300 # chunks 的回环率
CHUNKS_SOFT_DEL_LIMIT = 10
CHUNKS_WRITE_REP_LIMIT = 2,1,1,4 在一个循环里复制到一个 CHUNK Server 的最大chunks
CHUNKS_READ_REP_LIMIT = 10,5,2,5
MATOCL_LISTEN_PORT = 9421
4、设置MFS 挂载权限
[root@localhost mfs]#cp -a mfsexports.cfg.sample mfsexports.cfg # 设置 MFS 挂载权限
[root@localhost mfs]# vim mfsexports.cfg
192.168.1.0/24 . rw,alldirs,maproot=0 #最后一行插入，.表示/文件系统，rw表示读写，alldirs任何目录允许挂载，maproot登录root权限
5、拷贝MFS元数据信息文件（初始）
[root@localhost ~]# cd /usr/local/mfs/var/mfs/
[root@localhost mfs]# cp metadata.mfs.empty metadata.mfs
[root@localhost mfs]# mfsmaster start # 启动 MFS-Master 服务
[root@localhost mfs]# netstat -anutp
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:9419 0.0.0.0:* LISTEN 4694/mfsmaster
tcp 0 0 0.0.0.0:9420 0.0.0.0:* LISTEN 4694/mfsmaster
tcp 0 0 0.0.0.0:9421 0.0.0.0:* LISTEN 4694/mfsmaster
[root@localhost mfs]# pwd
/usr/local/mfs/var/mfs
[root@localhost mfs]# ls
changelog.0.mfs metadata.mfs.back metadata.mfs.empty #metadata.mfs.back完整备份，changelog.0.mfs增量备份
[root@localhost mfs]# mfscgiserv #开启web监控页面http://192.168.1.170:9425/
1、mfs-matedata配置
[root@localhost ~]#yum install rpm-build gcc gcc-c++ fuse-devel zlib-devel –y
[root@localhost ~]#useradd -M -s /sbin/nologin mfs #运行mfs的用户
[root@localhost ~]#tar -zxvf moosefs-3.0.115.tar.gz
[root@localhost ~]#cd moosefs-3.0.115/
[root@localhost moosefs-3.0.115]#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs
[root@localhost moosefs-3.0.115]#make -j 4 && make install
[root@localhost moosefs-3.0.115]# chown -R mfs.mfs /usr/local/mfs/
[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/sbin/* /usr/sbin/
[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/bin/* /usr/bin/
[root@localhost ~]# chmod a+x /usr/local/mfs/bin/*
[root@localhost ~]# chmod a+x /usr/local/mfs/sbin/*
[root@localhost ~]# cd /usr/local/mfs/etc/mfs/
2、MFS元数据服务配置文件
[root@localhost ~]cp mfsmetalogger.cfg.sample mfsmetalogger.cfg # 拷贝 MFS元数据服务配置文件
[root@localhost ~]vim mfsmetalogger.cfg
39 META_DOWNLOAD_FREQ = 2 # 设置完整同步间隔为 2 小时
52 MASTER_HOST = 192.168.1.170 # 设置 MFS-Master 服务器 IP 地址
[root@localhost ~]mfsmetalogger start # 启动 MFS-Logger 服务
[root@localhost mfs]# netstat -anutp | grep 9419
tcp 0 0 192.168.1.250:60132 192.168.1.170:9419 ESTABLISHED 10490/mfsmetalogger
[root@localhost mfs]# cd /usr/local/mfs/var/mfs/ #同步master元数据信息
1、mfs-chunkserver配置
1)添加硬盘并分区
[root@localhost ~]# fdisk /dev/sdb
[root@localhost ~]# mkfs.ext4 /dev/sdb1 #格式化分区
[root@localhost ~]# mkdir /mfs #创建挂载点
[root@localhost ~]#useradd -M -s /sbin/nologin mfs #运行mfs的用户
[root@localhost mfs]# chown -R mfs.mfs /mfs
[root@localhost ~]# mount /dev/sdb1 /mfs
[root@localhost mfs]# chown -R mfs.mfs /mfs
2）mfs-chunkserver配置
[root@localhost ~]#yum install rpm-build gcc gcc-c++ fuse-devel zlib-devel -y
[root@localhost ~]#tar -zxvf moosefs-3.0.115.tar.gz
[root@localhost ~]#cd moosefs-3.0.115/
[root@localhost moosefs-3.0.115]#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs
[root@localhost moosefs-3.0.115]#make -j 4 && make install
[root@localhost moosefs-3.0.115]# chown -R mfs.mfs /usr/local/mfs/
[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/sbin/* /usr/sbin/
[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/bin/* /usr/bin/
[root@localhost ~]# chmod a+x /usr/local/mfs/bin/*
[root@localhost ~]# chmod a+x /usr/local/mfs/sbin/*
[root@localhost ~]# cd /usr/local/mfs/etc/mfs/
2、拷贝Chunkserver配置文件
[root@localhost mfs]# cp mfschunkserver.cfg.sample mfschunkserver.cfg # 拷贝 Chunkserver 配置文件
[root@localhost mfs]# vim mfschunkserver.cfg
33 # HDD_CONF_FILENAME = /usr/local/mfs/etc/mfs/mfshdd.cfg #指定提供存储的配置文件位置
90 MASTER_HOST = 192.168.1.170 #指定 MFS-Master 服务器地址
93 MASTER_PORT = 9420 #指定 MFS-Master 服务器端口
[root@localhost mfs]# cp -a mfshdd.cfg.sample mfshdd.cfg
[root@localhost mfs]#vim /usr/local/mfs/etc/mfs/mfshdd.cfg # 修改 MFS 服务 HDD 路径
/mfs #最后一行插入挂在点
[root@localhost mfs]mfschunkserver start # 启动 MFSChunkserver
[root@localhost mfs]# netstat -anutp | grep 9422
tcp 0 0 0.0.0.0:9422 0.0.0.0:* LISTEN 6385/mfschunkserver
http://192.168.1.170:9425/查看mfs-chunkserver磁盘信息
mfs-client配置
[root@localhost ~]#yum install rpm-build gcc gcc-c++ fuse-devel zlib-devel –y
[root@localhost ~]#tar -zxvf moosefs-3.0.115.tar.gz
[root@localhost ~]#cd moosefs-3.0.115/
[root@localhost ~]./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs--disable-mfsmaster --disable-mfschunkserver
[root@localhost ~]make && make install
[root@localhost ~]#useradd -M -s /sbin/nologin mfs #运行mfs的用户
[root@localhost moosefs-3.0.115]# chown -R mfs.mfs /usr/local/mfs/
[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/sbin/* /usr/sbin/
[root@localhost moosefs-3.0.115]# ln -s /usr/local/mfs/bin/* /usr/bin/
[root@localhost moosefs-3.0.115]mkdir /mnt/mfsclient #创建挂载点
[root@localhost moosefs-3.0.115]mfsmount /mnt/mfsclient/ -H 192.168.1.170 #挂载
[root@localhost mfsclient]cd /mnt/mfsclient
[root@localhost mfsclient]touch a.txt
[root@localhost mfsclient]mfsfileinfo a.txt
a.txt:
chunk 0: 0000000000000002_00000001 / (id:2 ver:1)
copy 1: 192.168.1.189:9422 (status:VALID) #数据存放信息
1）mfs-client误删除处理，垃圾回收站机制
[root@localhost back]# mkdir /back
[root@localhost back]# cd /back
[root@localhost back]# mfsmount -m /back -H 192.168.1.170
[root@localhost back]# cd trash
[root@localhost trash]# yum install tree -y
[root@localhost trash]# tree . >> /root/a.txt #tree . 定位删除文件目录 /root/a.txt
[root@localhost trash]# mv 007/00000007\|a.txt /back/trash/undel/
mfsgettrashtime 64800 /mnt/mfs/a.txt 设置保存时间
mfssettrashtime 64800 /mnt/mfs/a.txt 设置保存时间
2） 快照功能
mkdir /back
chown mfs.mfs /back
mfsmakesnapshot a.txt /back
cd bb/
3）mfs-client冗余 goal 设置
mfssetgoal 3 /mnt/mfs/test1
mfssetgoal /mnt/mfs/test1
mfsfileinfo /mnt/mfs/test1
4）mfs-matedata还原master
[root@localhost ~]# cd /usr/local/mfs/var/mfs/
[root@localhost ~]# rm -rf * #删除master元数据信息
scp /usr/local/mfs/var/mfs/* root@192.168.1.171:/usr/local/mfs/var/mfs/ #mfs-matedata元数据信息拷贝到mfs-master
mfsmaster -a
