D32-综合架构存储服务
一、rsync常见错误
1. rsync服务端开启的iptables防火墙
【客户端的错误】
No route to host
【错误演示过程】
[root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
rsync: failed to connect to 172.16.1.41: No route to host (113)
rsync error: error in socket IO (code 10) at clientserver.c(124) [sender=3.0.6]
【异常问题解决】
关闭rsync服务端的防火墙服务（iptables）
[root@backup mnt]# /etc/init.d/iptables stop
iptables: Setting chains to policy ACCEPT: filter [ OK ]
iptables: Flushing firewall rules: [ OK ]
iptables: Unloading modules: [ OK ]
[root@backup mnt]# /etc/init.d/iptables status
iptables: Firewall is not running.
2. rsync客户端执行rsync命令错误
【客户端的错误】
The remote path must start with a module name not a /
【错误演示过程】
[root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::/backup
ERROR: The remote path must start with a module name not a /
rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]
【异常问题解决】
rsync命令语法理解错误，::/backup是错误的语法，应该为::backup(rsync模块)
3. rsync服务认证用户失败
【客户端的错误】
auth failed on module oldboy
【错误演示过程】
[root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
Password:
@ERROR: auth failed on module backup
rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]
【异常问题解决】
- 密码真的输入错误，用户名真的错误
- secrets file = /etc/rsync.password指定的密码文件和实际密码文件名称不一致 信息复制粘贴
- /etc/rsync.password文件权限不是600 服务端
- rsync_backup:123456 密码配置文件后面注意不要有空格
如何看出文件结尾空格信息：
方法一：在vim编辑中查看
底行模式---:set list
方法二：在cat命令中查看
[root@backup ~]# cat -A /etc/rsync.password
rsync_backup:oldboy123 $ - rsync客户端密码文件中只输入密码信息即可，不要输入虚拟认证用户名称
4. rsync服务位置模块错误
【客户端的错误】
Unknown module 'backup'
【错误演示过程】
[root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
@ERROR: Unknown module 'backup'
rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]
【异常问题解决】
- /etc/rsyncd.conf配置文件模块名称书写错误
5. rsync服务权限阻止问题
【客户端的错误】
Permission denied
【错误演示过程】
[root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
Password:
sending incremental file list
hosts
rsync: mkstemp ".hosts.5z3AOA" (in backup) failed: Permission denied (13)
sent 196 bytes received 27 bytes 63.71 bytes/sec
total size is 349 speedup is 1.57
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1039) [sender=3.0.6]
【异常问题解决】
- 备份目录的属主和属组不正确，不是rsync
- 备份目录的权限不正确，不是777
6. rsync服务备份目录异常
【客户端的错误】
chdir failed
【错误演示过程】
[root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
Password:
@ERROR: chdir failed
rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]
【异常问题解决】
- 备份存储目录没有建立
- 建立的备份存储目录和配置文件定义不一致
说明：如果没有备份存储目录
7. rsync服务无效用户信息
【客户端的错误】
invalid uid rsync
【错误演示过程】
[root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
Password:
@ERROR: invalid uid rsync
rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]
【异常问题解决】
rsync服务对应rsync虚拟用户不存在了
8. 客户端已经配置了密码文件，但免秘钥登录方式，依旧需要输入密码
【客户端的错误】
password file must not be other-accessible
【错误演示过程】
[root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
password file must not be other-accessible
continuing without password file
Password:
sending incremental file list
sent 26 bytes received 8 bytes 5.23 bytes/sec
total size is 349 speedup is 10.26
【异常问题解决】
rsync客户端的秘钥文件也必须是600权限
9. rsync客户端连接慢问题
【错误日志信息】 名称或者域名 --- IP dns解析
错误日志输出 IP --- 名称或者域名 反向dns解析
2017/03/08 20:14:43 [3422] params.c:Parameter() - Ignoring badly formed line in configuration file: ignore errors
2017/03/08 20:14:43 [3422] name lookup failed for 172.16.1.31: Name or service not known
2017/03/08 20:14:43 [3422] connect from UNKNOWN (172.16.1.31)
2017/03/08 20:14:43 [3422] rsync to backup/ from rsync_backup@unknown (172.16.1.31)
2017/03/08 20:14:43 [3422] receiving file list
2017/03/08 20:14:43 [3422] sent 76 bytes received 83 bytes total size 349
正确日志输出
2017/03/08 20:16:45 [3443] params.c:Parameter() - Ignoring badly formed line in configuration file: ignore errors
2017/03/08 20:16:45 [3443] connect from nfs01 (172.16.1.31)
2017/03/08 20:16:45 [3443] rsync to backup/ from rsync_backup@nfs02 (172.16.1.31)
2017/03/08 20:16:45 [3443] receiving file list
2017/03/08 20:16:45 [3443] sent 76 bytes received 83 bytes total size 349
【异常问题解决】
查看日志进行分析，编写rsync服务端hosts解析文件
客户端 10.0.0.31 ---> 服务端 识别源地址 10.0.0.31 - RDNS(反向dns解析)
10 rsync服务没有正确启动
【错误日志信息】
Connection refused (111)
【错误演示过程】
[root@oldboy-muban ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
rsync: failed to connect to 172.16.1.41: Connection refused (111)
rsync error: error in socket IO (code 10) at clientserver.c(124) [sender=3.0.6]
【异常问题解决】
[root@oldboy-muban ~]# rsync --daemon
[root@oldboy-muban ~]# ss -lntup |grep rsync
tcp LISTEN 0 5 :::873 :::* users:(("rsync",1434,5))
tcp LISTEN 0 5 *:873 : users:(("rsync",1434,4))
[root@oldboy-muban ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
Password:
sending incremental file list
hosts
sent 196 bytes received 27 bytes 49.56 bytes/sec
total size is 349 speedup is 1.57
二、网站存储服务概念介绍
1. 作用说明
实现数据共享存储
实现数据统一管理
实现运营成本节省
image.png
image.png
image.png
2.原理说明: NFS存储
服务端设置好共享目录
客户端进行网络挂载
数据存储在客户端 ==> 服务端共享目录
原理阐述：为实现所有客户端统一存储，首先在存储服务器上创建一个共享目录，之后启动该存储服务nfs.server，再再客户端创建一个本地目录，而这个本地目录实质就是一个挂载点目录，而存储服务器中的共享目录作为一个存储设备，将两者创建关系，就可以实现在客户端存储数据时，表面上是存储在本地目录中，而实际本地目录是一个挂载点目录，相当于给存储设备开了一个门，数据信息自然而然就自动传输到存储服务器中的共享目录中
image.png
3.存储服务实现方式:
a.中小企业:
NFS: 网络文件系统
NFS存储原理：客户端(本地磁盘不保存数据) ---> NFS服务端并利用挂载方式使两者创建联系，但只能用于Linux系统
FTP: 文件传输协议
FTP存储原理是客户端先将数据进行本地磁盘保存数据再将数据通过网络传输给FTP服务端即存储服务器，弊端则是需要定期删除本地磁盘的数据信息，操作繁琐且配置复杂，但可用于Linux系统和Windows系统
samba: 文件共享存储
介于nfs和ftp两者之间，可用户Windows和Linux，存储原理与nfs相近，但由于服务器中的Windows系统较少，且配置复杂，所以使用较少
b.大型企业: 分布式存储
常见服务：Moosefs（mfs）、GlusterFS、FastDFS(使用较多)
分布式原理：
存储服务01（相当于磁盘）<==存储服务管理主机(相当于raid卡)<==网站服务<==用户
存储服务02（相当于磁盘）<==
存储服务03（相当于磁盘）<==
就是相当于，当一个用户通过网络访问网站时，存储服务器最终需要存储数据信息，在存储数据信息前，先由存储服务管理主机进行平均分配给不同的存储服务器，分担io；而用户读取数据时，也是先由存储服务管理主机先进行数据整合在传输给用户
三、网站存储服务部署过程
1.预备知识==>RPC服务
rpc服务作用：远程过程调用程序 == 类似中介 (NFS客户端和NFS服务端通讯)
rpc服务本质上就是一个中间环节，在客户端和nfs服务端之间，当nfs服务启动时，会产生多个进程信息，而多个进程自然就会对应多个端口号，而部分端口号的形成是nfs服务启动时随着进程信息随机产生的，而客户端无法知晓这些端口号，就会无法正常访问网站，此时rpc服务就会起到作用，当端口号码随机生成时，会统一汇报给rpc服务，这时客户端只要通过rpc这个类似于中介的服务，就可以访问相应端口，而rpc的端口号码保持不变为111，所以无论nfs服务是否从新启动均不会影响到客户端
image.png
image.png
image.png
2.部署过程
服务端部署过程:
第一个里程: 检查服务软件是否安装/安装服务程序
rpm -qa |grep -E "rpc|nfs --- 默认没有安装服务程序
yum install -y rpcbind nfs-utils
第二个里程: 编写nfs配置文件
vim /etc/exports
存储目录 白名单信息(权限参数信息)
/data 172.16.1.0/24(rw,sync)
第三个里程: 创建存储目录并修改权限信息即属主属组
mkdir /data
chown -R nfsnobody.nfsnobody /data
第四个里程: 启动服务程序
systemctl start rpcbind.service
systemctl enable rpcbind.service
systemctl start nfs
systemctl enable nfs
客户端部署过程:
第一个里程: 检查软件服务是否安装/安装软件程序
rpm -qa nfs-utils
yum install -y nfs-utils
第二个里程: 检查是否有可以共享存储数据目录
showmount -e 172.16.1.31(存储服务器私网IP地址)
第三个里程: 进行远程挂载操作
格式：mount 参数 挂载类型 存储服务器私网IP地址：共享目录 挂载点目录
如：mount -t nfs 172.16.1.31:/data /mnt
检查： df -h
如：
文件系统 容量 已用 可用 已用% 挂载点
172.16.1.31:/data 99G 2.9G 96G 3% /mnt
