背景

最近故障演练需要对redis服务器进行流量相关的控制和模拟，学习了一下相关的工具和原理，读了几篇文章，这里做下总结。

一、原理

netem 与 tc：

netem 是 Linux 2.6 及以上内核版本提供的一个网络模拟功能模块。该功能模块可以用来在性能良好的局域网中，模拟出复杂的互联网传输性能，诸如低带宽、传输延迟、丢包等等情况。使用 Linux 2.6 (或以上) 版本内核的很多发行版 Linux 都开启了该内核功能，比如Fedora、Ubuntu、Redhat、OpenSuse、CentOS、Debian等等。

tc 是 Linux 系统中的一个工具，全名为traffic control（流量控制）。tc 可以用来控制 netem 的工作模式，也就是说，如果想使用 netem ，需要至少两个条件，一个是内核中的 netem 功能被包含，另一个是要有 tc

Linux操作系统中的流量控制器TC（Traffic Control）用于Linux内核的流量控制，主要是通过在输出端口处建立一个队列来实现流量控制。
接收包从输入接口进来后，经过流量限制丢弃不符合规定的数据包，由输入多路分配器进行判断选择：

如果接收包的目的主机是本主机，那么将该包送给上层处理，否则需要进行转发，将接收包交到转发块（Forwarding Block）处理。
转发块同时也接收本主机上层(TCP、UDP等)产生的包，通过查看路由表，决定所处理包的下一跳。
然后，对包进行排列以便将它们送到输出接口。
一般只能限制网卡发送的数据包，不能限制网卡接收的数据包，所以可以通过改变发送次序来控制传输速率。Linux流量控制主要是在输出接口排列时进行处理和实现的。

二、规则

2.1 流量控制方式

流量控制包括以下几种方式：

SHAPING(限制)： 当流量被限制，它的传输速率就被控制在某个值以下。限制值可以大大小于有效带宽，这样可以平滑突发数据流量，使网络更为稳定。shaping（限制）只适用于向外的流量。
SCHEDULING(调度)： 通过调度数据包的传输，可以在带宽范围内，按优先级分配带宽。SCHEDULING(调度)也只适于向外的流量。
POLICING(策略)：
SHAPING用于处理向外的流量，而POLICIING(策略)用于处理接收到的数据。
DROPPING(丢弃)： 如果流量超过某个设定的带宽，就丢弃数据包，不管是向内还是向外。

2.2 流量控制处理对象

流量的处理由三种对象控制，它们是：

qdisc（排队规则）
class（类别）
filter（过滤器）

2.2.1 qdisc（排队规则）

QDisc(排队规则)是queueing discipline的简写，它是理解流量控制(traffic control)的基础。无论何时，内核如果需要通过某个网络接口发送数据包，它都需要按照为这个接口配置的qdisc(排队规则)把数据包加入队列。然后，内核会尽可能多地从qdisc里面取出数据包，把它们交给网络适配器驱动模块。最简单的QDisc是pfifo它不对进入的数据包做任何的处理，数据包采用先入先出的方式通过队列。不过，它会保存网络接口一时无法处理的数据包。
qdisc的类别如下：

CLASSLESS QDisc(不可分类QDisc)

[p|b]fifo：
使用最简单的qdisc，纯粹的先进先出。只有一个参数：limit，用来设置队列的长度,pfifo是以数据包的个数为单位；bfifo是以字节数为单位。
pfifo_fast：
在编译内核时，如果打开了高级路由器(Advanced Router)编译选项，pfifo_fast就是系统的标准QDISC。它的队列包括三个波段(band)。在每个波段里面，使用先进先出规则。而三个波段(band)的优先级也不相同，band 0的优先级最高，band 2的最低。如果band0里面有数据包，系统就不会处理band 1里面的数据包，band 1和band 2之间也是一样。数据包是按照服务类型(Type of Service,TOS)被分配多三个波段(band)里面的。
red：
red是Random Early Detection(随机早期探测)的简写。如果使用这种QDISC，当带宽的占用接近于规定的带宽时，系统会随机地丢弃一些数据包。它非常适合高带宽应用。
sfq：
sfq是Stochastic Fairness Queueing的简写。它按照会话(session--对应于每个TCP连接或者UDP流)为流量进行排序，然后循环发送每个会话的数据包。
tbf：
tbf是Token Bucket Filter的简写，适合于把流速降低到某个值。
不可分类qdisc配置： 如果没有可分类QDisc，不可分类QDisc只能附属于设备的根。它们的用法如下：

tc qdisc add dev DEV root QDISC QDISC-PARAMETERS
要删除一个不可分类QDisc，需要使用如下命令：

tc qdisc del dev DEV root
一个网络接口上如果没有设置QDisc，pfifo_fast就作为缺省的QDisc。

CLASSFUL QDISC(分类QDisc):
可分类的qdisc包括：
CBQ： CBQ是Class Based Queueing(基于类别排队)的缩写。它实现了一个丰富的连接共享类别结构，既有限制(shaping)带宽的能力，也具有带宽优先级管理的能力。带宽限制是通过计算连接的空闲时间完成的。空闲时间的计算标准是数据包离队事件的频率和下层连接(数据链路层)的带宽。
HTB： HTB是Hierarchy Token Bucket的缩写。通过在实践基础上的改进，它实现了一个丰富的连接共享类别体系。使用HTB可以很容易地保证每个类别的带宽，它也允许特定的类可以突破带宽上限，占用别的类的带宽。HTB可以通过TBF(Token Bucket Filter)实现带宽限制，也能够划分类别的优先级。
PRIO： PRIO QDisc不能限制带宽，因为属于不同类别的数据包是顺序离队的。使用PRIO QDisc可以很容易对流量进行优先级管理，只有属于高优先级类别的数据包全部发送完毕，才会发送属于低优先级类别的数据包。为了方便管理，需要使用iptables或者ipchains处理数据包的服务类型(Type Of Service,ToS)。

2.2.2 class（类）

某些QDisc(排队规则)可以包含一些类别，不同的类别中可以包含更深入的QDisc(排队规则)，通过这些细分的QDisc还可以为进入的队列的数据包排队。通过设置各种类别数据包的离队次序，QDisc可以为设置网络数据流量的优先级。

2.2.3 filter（过滤器）

Filter(过滤器)用于为数据包分类，决定它们按照何种QDisc进入队列。无论何时数据包进入一个划分子类的类别中，都需要进行分类。分类的方法可以有多种，使用fileter(过滤器)就是其中之一。使用filter(过滤器)分类时，内核会调用附属于这个类(class)的所有过滤器，直到返回一个判决。如果没有判决返回，就作进一步的处理，而处理方式和QDISC有关。需要注意的是，filter(过滤器)是在QDisc内部，它们不能作为主体。

2.3 执行过程
类(Class)组成一个树，每个类都只有一个父类，而一个类可以有多个子类。某些QDisc(例如：CBQ和HTB)允许在运行时动态添加类，而其它的QDisc(例如：PRIO)不允许动态建立类。允许动态添加类的QDisc可以有零个或者多个子类，由它们为数据包排队。此外，每个类都有一个叶子QDisc，默认情况下，这个叶子QDisc使用pfifo的方式排队，我们也可以使用其它类型的QDisc代替这个默认的QDisc。而且，这个叶子QDisc有可以分类，不过每个子类只能有一个叶子QDisc。 当一个数据包进入一个分类QDisc，它会被归入某个子类。
我们可以使用以下三种方式为数据包归类，不过不是所有的QDisc都能够使用这三种方式：

tc过滤器(tc filter)： 如果过滤器附属于一个类，相关的指令就会对它们进行查询。过滤器能够匹配数据包头所有的域，也可以匹配由ipchains或者iptables做的标记。
服务类型(Type of Service)： 某些QDisc有基于服务类型（Type of Service,ToS）的内置的规则为数据包分类。
skb->priority： 用户空间的应用程序可以使用SO_PRIORITY选项在skb->priority域设置一个类的ID。
树的每个节点都可以有自己的过滤器，但是高层的过滤器也可以直接用于其子类。
如果数据包没有被成功归类，就会被排到这个类的叶子QDisc的队中。相关细节在各个QDisc的手册页中。

2.4 命名规则

所有的QDisc、类和过滤器都有ID。ID可以手工设置，也可以有内核自动分配。ID由一个主序列号和一个从序列号组成，两个数字用一个冒号分开。

QDISC： 一个QDisc会被分配一个主序列号，叫做句柄(handle)，然后把从序列号作为类的命名空间。句柄采用象10:一样的表达方式。习惯上，需要为有子类的QDisc显式地分配一个句柄。
class：
在同一个QDisc里面的类分享这个QDisc的主序列号，但是每个类都有自己的从序列号，叫做类识别符(classid)。类识别符只与父QDisc有关，和父类无关。类的命名习惯和QDisc的相同。
filter：
过滤器的ID有三部分，只有在对过滤器进行散列组织才会用到。详情请参考tc-filters手册页。

2.5 单位

带宽或流速单位：
kbps 千字节/s
mbps 兆字节/s
kbit Kbit/s
mbit Mbit/s
bps或者一个无单位数字 字节/s
数据数量单位：
kb或者k 千字节
mb或者m 兆字节
mbit 兆bit
kbit 千bit
b或者一个无单位数字 字节数

三、模拟网络延迟和丢包

3.1 模拟网络延迟

• 添加一个固定延迟到本地网卡 eth0

// delay: 100ms
tc qdisc add dev eth0 root netem delay 100ms

• 给延迟加上上下 10ms 的波动

tc qdisc change dev eth0 root netem delay 100ms 10ms

• 加一个 25% 的相关概率

相关性，是这当前的延迟会和上一次数据包的延迟有关，短时间里相邻报文的延迟应该是近似的而不是完全随机的。这个值是个百分比，如果为 100%，就退化到固定延迟的情况；如果是 0% 则退化到随机延迟的情况， Pn = 25% Pn-1 + 75% Random

tc qdisc change dev eth0 root netem delay 100ms 10ms 25%

• 让波动变成正态分布的

tc qdisc change dev eth0 root netem delay 100ms 20ms distribution normal

3.2 模拟网络丢包

• 设置丢包率为 1%

tc qdisc change dev eth0 root netem loss 0.1%

• 添加一个相关性参数

这个参数表示当前丢包的概率与上一条数据包丢包概率有 25% 的相关性 Pn = 25% Pn-1 + 75% Random

tc qdisc change dev eth0 root netem loss 0.1% 25%

3.3 模拟数据包重复

• 1% 的数据包重复

tc qdisc change dev eth0 root netem duplicate 1%

3.4 模拟包损坏

• 2% 的包损坏

tc qdisc add dev eth0 root netem corrupt 2%

• 模拟包乱序

网络传输并不能保证顺序，传输层 TCP 会对报文进行重组保证顺序，所以报文乱序对应用的影响比上面的几种问题要小。

报文乱序可前面的参数不太一样，因为上面的报文问题都是独立的，针对单个报文做操作就行，而乱序则牵涉到多个报文的重组。模拟报乱序一定会用到延迟（因为模拟乱序的本质就是把一些包延迟发送），netem 有两种方法可以做。

• 第一种是固定的每隔一定数量的报文就乱序一次：

每 5th (10th, 15th…) 的包延迟 10ms

tc qdisc change dev eth0 root netem gap 5 delay 10ms

• 第二种方法使用概率来选择乱序，相对来说更偏向实际情况一些

25 % 的立刻发送（50% 的相关性），其余的延迟 10ms

tc qdisc change dev eth0 root netem delay 10ms reorder 25% 50%
只使用 delay 也可能造成数据包的乱序
tc qdisc change dev eth0 root netem delay 100ms 75ms
比如 first one random 100ms, second random 25ms，这样就是会造成第一个包先于第二个包发送

四、流量控制

Linux流量控制主要分为建立队列、建立分类和建立过滤器三个方面。

4.1 步骤：

• 针对网络物理设备（如以太网卡eth0）绑定一个队列QDisc；

• 在该队列上建立分类class；

• 为每一分类建立一个基于路由的过滤器filter；

• 最后与过滤器相配合，建立特定的路由表。

4.2 应用1：

git限速1：针对端口进行限速

在使用git拉去代码时很容易跑满带宽，为了控制带宽的使用，配置如下：

#查看现有的队列
tc -s qdisc ls dev eth0

#查看现有的分类
tc -s class ls dev eth0

#创建队列
tc qdisc add dev eth0 root handle 1:0 htb default 1 
#添加一个tbf队列，绑定到eth0上，命名为1:0 ，默认归类为1
#handle：为队列命名或指定某队列

#创建分类
tc class add dev eth0 parent 1:0 classid 1:1 htb rate 10Mbit burst 15k
#为eth0下的root队列1:0添加一个分类并命名为1:1，类型为htb，带宽为10M
#rate: 是一个类保证得到的带宽值.如果有不只一个类,请保证所有子类总和是小于或等于父类.
#ceil: ceil是一个类最大能得到的带宽值.

#创建一个子分类
tc class add dev eth0 parent 1:1 classid 1:10 htb rate 10Mbit ceil 10Mbit burst 15k
#为1:1类规则添加一个名为1:10的类，类型为htb，带宽为10M

#为了避免一个会话永占带宽,添加随即公平队列sfq.
tc qdisc add dev eth0 parent 1:10 handle 10: sfq perturb 10
#perturb：是多少秒后重新配置一次散列算法，默认为10秒
#sfq,他可以防止一个段内的一个ip占用整个带宽

#使用u32创建过滤器
tc filter add dev eth0 protocol ip parent 1:0 prio 1 u32 match ip sport 22 flowid 1:10

#删除队列
tc qdisc del dev eth0 root

配置完成后加入本地启动文件：  
/etc/rc.local

git限速2：针对ip进行限速

情景：
因为带宽资源有限（20Mbit≈2Mbyte），使用git拉取代码的时候导致带宽资源告警，所以对git进行限速，要求：内网不限速；外网下载速度为1M左右。（注意：此处需要注意单位转换1byte=8bit）...

<脚本>

#!/bin/bash
#针对不同的ip进行限速

#清空原有规则
tc qdisc del dev eth0 root

#创建根序列
tc qdisc add dev eth0 root handle 1: htb default 1

#创建一个主分类绑定所有带宽资源（20M）
tc class add dev eth0 parent 1:0 classid 1:1 htb rate 20Mbit burst 15k

#创建子分类
tc class add dev eth0 parent 1:1 classid 1:10 htb rate 20Mbit ceil 10Mbit burst 15k
tc class add dev eth0 parent 1:1 classid 1:20 htb rate 20Mbit ceil 20Mbit burst 15k

#避免一个ip霸占带宽资源（git1有讲到）
tc qdisc add dev eth0 parent 1:10 handle 10: sfq perturb 10
tc qdisc add dev eth0 parent 1:20 handle 20: sfq perturb 10

#创建过滤器
#对所有ip限速
tc filter add dev eth0 protocol ip parent 1:0 prio 2 u32 match ip dst 0.0.0.0/0 flowid 1:10
#对内网ip放行
tc filter add dev eth0 protocol ip parent 1:0 prio 1 u32 match ip dst 12.0.0.0/8 flowid 1:20

该过程遇到的问题：

• 未配置优先级以至于只有一条规则生效（所有的ip都被限速）
  • 解决办法：在过滤器中加入prio，指定规则的优先级
• 不知道本地带宽是多大：
  • 解决办法：直接给你一个很大很大的带宽（100000....），对需要限速的ip分配指定的带宽资源，然后把剩余的带宽全部分配给内网ip。。。（简单粗暴有效）

4.3 应用2：环境模拟实例

需求：

流量控制器上的以太网卡(eth0) 的IP地址为192.168.1.66，在其上建立一个CBQ队列。假设包的平均大小为1000字节，包间隔发送单元的大小为8字节，可接收冲突的发送最长包数目为20字节。
假如有三种类型的流量需要控制:

• 是发往主机1的，其IP地址为192.168.1.24。其流量带宽控制在8Mbit，优先级为2；
• 是发往主机2的，其IP地址为192.168.1.30。其流量带宽控制在1Mbit，优先级为1；
• 是发往子网1的，其子网号为192.168.1.0，子网掩码为255.255.255.0。流量带宽控制在1Mbit，优先级为6。

实现：

建立队列：

一般情况下，针对一个网卡只需建立一个队列。
将一个cbq队列绑定到网络物理设备eth0上，其编号为1:0；网络物理设备eth0的实际带宽为10 Mbit，包的平均大小为1000字节；包间隔发送单元的大小为8字节，最小传输包大小为64字节。

tc qdisc add dev eth0 root handle 1: cbq bandwidth 10Mbit avpkt 1000 cell 8 mpu 64
#cell:包间隔发送单元的大小为8字节

建立分类：

分类建立在队列之上。
一般情况下，针对一个队列需建立一个根分类，然后再在其上建立子分类。对于分类，按其分类的编号顺序起作用，编号小的优先；一旦符合某个分类匹配规则，通过该分类发送数据包，则其后的分类不再起作用。

1） 创建根分类1:1；分配带宽为10Mbit，优先级别为8

tc class add dev eth0 parent 1:0 classid 1:1 cbq bandwidth 10Mbit rate 10Mbit maxburst 20 allot 1514 prio 8 avpkt 1000 cell 8 weight 1Mbit
#prio:用来指示借用带宽时的竞争力,prio越小,优先级越高,竞争力越强.

该队列的最大可用带宽为10Mbit，实际分配的带宽为10Mbit，可接收冲突的发送最长包数目为20字节；最大传输单元加MAC头的大小为1514字节，优先级别为8，包的平均大小为1000字节，包间隔发送单元的大小为8字节，相应于实际带宽的加权速率为1Mbit。
2） 创建分类1:2，其父分类为1:1，分配带宽为8Mbit，优先级别为2

tc class add dev eth0 parent 1:1 classid 1:2 cbq bandwidth 10Mbit rate 8Mbit maxburst 20 allot 1514 prio 2 avpkt 1000 cell 8 weight 800Kbit split 1:0 bounded

该队列的最大可用带宽为10Mbit，实际分配的带宽为 8Mbit，可接收冲突的发送最长包数目为20字节；最大传输单元加MAC头的大小为1514字节，优先级别为1，包的平均大小为1000字节，包间隔发送单元的大小为8字节，相应于实际带宽的加权速率为800Kbit，分类的分离点为1:0，且不可借用未使用带宽。
3）创建分类1:3，其父分类为1:1，分配带宽为1Mbit，优先级别为1。

tc class add dev eth0 parent 1:1 classid 1:3 cbq bandwidth 10Mbit rate 1Mbit maxburst 20 allot 1514 prio 1 avpkt 1000 cell 8 weight 100Kbit split 1:0

该队列的最大可用带宽为10Mbit，实际分配的带宽为 1Mbit，可接收冲突的发送最长包数目为20字节；最大传输单元加MAC头的大小为1514字节，优先级别为2，包的平均大小为1000字节，包间隔发送单元的大小为8字节，相应于实际带宽的加权速率为100Kbit，分类的分离点为1:0。
4） 创建分类1:4，其父分类为1:1，分配带宽为1Mbit，优先级别为6。

tc class add dev eth0 parent 1:1 classid 1:4 cbq bandwidth 10Mbit rate 1Mbit maxburst 20 allot 1514 prio 6 avpkt 1000 cell 8 weight 100Kbit split 1:0

建立过滤器

过滤器主要服务于分类。
一般只需针对根分类提供一个过滤器，然后为每个子分类提供路由映射。
1）应用路由分类器到cbq队列的根，父分类编号为1:0；过滤协议为ip，优先级别为100，过滤器为基于路由表。

tc filter add dev eth0 parent 1:0 protocol ip prio 100 route

2）建立路由映射分类1:2, 1:3, 1:4

tc filter add dev eth0 parent 1:0 protocol ip prio 100 route to 2 flowid 1:2

tc filter add dev eth0 parent 1:0 protocol ip prio 100 route to 3 flowid 1:3

tc filter add dev eth0 parent 1:0 protocol ip prio 100 route to 4 flowid 1:4

建立路由

该路由是与前面所建立的路由映射一一对应。
1）发往主机192.168.1.24的数据包通过分类2转发(分类2的速率8Mbit)

ip route add 192.168.1.24 dev eth0 via 192.168.1.66 realm 2

2）发往主机192.168.1.30的数据包通过分类3转发(分类3的速率1Mbit)

ip route add 192.168.1.30 dev eth0 via 192.168.1.66 realm 3

3）发往子网192.168.1.0/24的数据包通过分类4转发(分类4的速率1Mbit)

ip route add 192.168.1.0/24 dev eth0 via 192.168.1.66 realm 4

注：一般对于流量控制器所直接连接的网段建议使用IP主机地址流量控制限制，不要使用子网流量控制限制。如一定需要对直连子网使用子网流量控制限制，则在建立该子网的路由映射前，需将原先由系统建立的路由删除，才可完成相应步骤。

4.4 应用3：MySQL数据库同步数据限速方案

mysql1: 10.9.57.162 
may1:   10.12.1.45 
# mysql1上实施(限制到may1的流量: 8mbit)
tc qdisc add dev eth0 root handle 1: htb r2q 1
tc class add dev eth0 parent 1: classid 1:1 htb rate 8mbit ceil 8mbit
tc qdisc add dev eth0 parent 1:1 handle 10: sfq perturb 10
tc filter add dev eth0 parent 1: protocol ip prio 16 u32 match ip dst 10.12.1.45 flowid 1:1 # may1(限制到mysql1的流量: 8mbit)
tc qdisc del dev em1 root [ ] 
tc qdisc add dev  em1 root handle 2: htb r2q 1
tc class  add dev  em1 parent 2: classid 2:1 htb rate 8mbit ceil 8mbit
tc qdisc add dev  em1 parent 2:1 handle 11: sfq perturb 10
tc filter add dev  em1 parent 2: protocol ip prio 16 u32 match ip dst 10.9.57.162 flowid 2:1

监视

主要包括对现有队列、分类、过滤器和路由的状况进行监视。
1）显示队列的状况
简单显示指定设备(这里为eth0)的队列状况

# tc qdisc ls dev eth0
qdisc cbq 1: rate 10Mbit (bounded,isolated) prio no-transmit

详细显示指定设备(这里为eth0)的队列状况

tc -s qdisc ls dev eth0

这里主要显示了通过该队列发送了13232个数据包，数据流量为7646731个字节，丢弃的包数目为0，超过速率限制的包数目为0。
2）显示分类的状况
简单显示指定设备(这里为eth0)的分类状况

tc class ls dev eth0

详细显示指定设备(这里为eth0)的分类状况

tc -s class ls dev eth0

这里主要显示了通过不同分类发送的数据包，数据流量，丢弃的包数目，超过速率限制的包数目等等。其中根分类(class cbq 1:0)的状况应与队列的状况类似。
例如，分类class cbq 1:4发送了8076个数据包，数据流量为5552879个字节，丢弃的包数目为0，超过速率限制的包数目为0。
显示过滤器的状况

tc -s filter ls dev eth0

这里flowid 1:2代表分类class cbq 1:2，to 2代表通过路由2发送。
显示现有路由的状况

ip route

如上所示，结尾包含有realm的显示行是起作用的路由过滤器。

实例脚本

• 限速

# ！/bin/sh
touch  /var/lock/subsys/local

echo  1  > /proc/sys/net/ipv4/ip_forward （激活转发）

route add default  gw  10.0.0.0  (这是加入电信网关，如果你已设了不用这条）

DOWNLOAD=640Kbit (640/8 =80K ,我这里限制下载最高速度只能80K）
UPLOAD=640Kbit (640/8 =80K,上传速度也限制在80K）
INET=192.168.0. (设置网段，根据你的情况填）
IPS=1 (这个意思是从192.168.0.1开始）
IPE=200 (我这设置是从IP为192.168.0.1-200这个网段限速，根据自已的需要改）
ServerIP=253 (网关IP）
IDEV=eth0
ODEV=eth1

/sbin/tc  qdisc  del  dev  $IDEV root handle 10:
/sbin/tc  qdisc  del  dev  $ODEV  root handle  20:
/sbin/tc  qdisc  add  dev $IDEV  root  handle  10: cbq  bandwidth  100Mbit avpkt  1000
/sbin/tc  qdisc  add  dev  $ODEV  root  handle  20: cbq bandwidth  1Mbit  avpkt  1000
/sbin/tc  class  add  dev $IDEV  parent 10:0  classid  10:1  cbq  bandwidth  100Mbit  rate 100Mbit  allot 1514  weight  1Mbit  prio  8  maxburst  20  avpkt 1000
/sbin/tc  class  add  dev  $ODEV  parent  20:0  classid  20:1 cbq  bandwidth  1Mbit  rate  1Mbit  allot  1514  weitht  10Kbit  prio  8  maxburst  20  avpkt 1000

COUNTER=$IPS
while  [  $COUNTER  -le  $IPE  ] do
/sbin/tc  class  add  dev  $IDEV  parent  10:1  classid  10:1$COUNTER  cbq  banwidth  100Mbit  rate  
$DOWNLOAD  allot  1514  weight  20Kbit  prio  5  maxburst  20  avpkt  1000  bounded
/sbin/tc  qdisc  add  dev  $IDEV  parent  10:1$COUNTER  sfq  quantum  1514b  perturb15

/sbin/tc  filter  add  dev  $IDEV  parent  10:0  protocol  ip  prio  100  u32  match  ipdst  $INET$COUNTER  flowid  10:1$COUNTER COUNTER=` expr  $COUNTER  +  1  `
done

iptables  -t  nat  -A  POSTROUTING  -o  eth1  -s  192.168.0.0/24  -J  MASQUERADE

• 模型

#!/bin/sh
tc qdisc del dev eth7 root &> /dev/null
tc qdisc del dev eth8 root &> /dev/null

#Add qdisc
tc qdisc add dev eth7 root handle 10: htb default 9998
tc qdisc add dev eth8 root handle 10: htb default 9998

#Add htb root node
tc class add dev eth7 parent 10: classid 10:9999 htb rate 1000000kbit ceil 1000000kbit
tc class add dev eth8 parent 10: classid 10:9999 htb rate 1000000kbit ceil 1000000kbit

#Add htb fake default node here
tc class add dev eth7 parent 10:9999 classid 10:9998 htb rate 1000000kbit ceil 1000000kbit
tc class add dev eth8 parent 10:9999 classid 10:9998 htb rate 1000000kbit ceil 1000000kbit

#Add rule node
tc class add dev eth7 parent 10:9999 classid 10:3 htb rate 1kbit ceil 50kbit
tc filter add dev eth7 parent 10: protocol ip handle 3 fw classid 10:3
tc class add dev eth8 parent 10:9999 classid 10:3 htb rate 1kbit ceil 50kbit
tc filter add dev eth8 parent 10: protocol ip handle 3 fw classid 10:3

#Add htb real default node here
tc class change dev eth7 classid 10:9998 htb rate 1kbit ceil 1000000kbit
tc class change dev eth8 classid 10:9998 htb rate 1kbit ceil 1000000kbit

tc

#创建一个主队列
 tc qdisc add dev eth0 root handle 1： htb  default 1
#tc 队列   添加 设置接口  root为最上层 句柄(做标记用)： 标记类型 默认使用1的class
#命令解释：将一个htb队列绑定在eth0上,编号为1:0，默认归类是1

 tc class add dev eth0 parent 1：0 classid1：30 htb rate 10mbit
#为eth0 下的root队列1:0 添加分类并命名为 1:30 类型为htb 速度为10M

 tc class add dev eth0 parent 1：30 classid 1：31 htb rate 10mbit

tc qdisc add dev eth0 root tbf  match ip sport 22 0xffff rate 10mbit 

网络速度测试的方法

测试本机网络状态

centos7系统

# yum install -y speedtest-cli
# speedtest-cli

测试来自某ip的下载

scp root@ip:/dir/filename  /dir/

• 针对ip限速：http://blog.csdn.net/zhongbeida_xue/article/details/54613750
• http://blog.csdn.net/daniel117/article/details/17350243

wondershaper

了解完tc工具后再来看一个简单实用的限速工具——wondershaper。这个单词看似很复杂，但是当你看过源码之后会发现，这只不过是将tc一些简单的功能封装成了一个shell脚本而已，安装和使用方法如下：

• 安装

$ yum install epel-release -y # 依赖第三方库
$ yum install wondershaper -y

• 查看使用说明：

$ wondershaper
Wonder Shaper 1.2.1

Usage: /usr/sbin/wondershaper [device] clean|[upload speed in Kb/s] [download speed in Kb/s]
Example: /usr/sbin/wondershaper eth0 20 500

https://bugzilla.redhat.com/enter_bug.cgi?product=Fedora&component=wondershaper

• 示例：

# 将上行带宽限制为1M，下行带宽限制为10M
$ wondershaper eth0 1024 10240

# 清除原有规则 (两个参数可以是任何字符)
$ wondershaper clean clean

# 查看已有规则 (查看eth0的规则)
$ wondershaper eth0

Note: 一般为3个参数，第一个参数为网卡名，第二个上行速度（出）限制，第三个参数为下行速度（入）限制。

参考文章：
https://www.huaweicloud.com/articles/9d6581c20b6c10f60984eabc45e860bd.html
https://int64.me/2018/TC%20-%20Linux%20%e6%b5%81%e9%87%8f%e6%8e%a7%e5%88%b6%e5%b7%a5%e5%85%b7.html
https://cloud.tencent.com/developer/article/1721030