Android开发经验谈

计算机网络 | 图解 DNS & HTTPDNS 原理

2020-10-16  本文已影响0人  彭旭锐

前言

目录

1. DNS 原理

1.1 DNS 简介

域名（Domain Name，Domain） 是一个在互联网上标识主机或主机组的名称，相当于 IP 地址的别名，相对于晦涩难记的 IP 地址，域名更显得易于记忆。

域名系统（Domain Name System，DNS） 则是将域名解析 IP 地址的一项互联网基础服务，提供该服务的服务器称为 域名服务器（Domain Name Server）。

1.2 DNS 解析过程

互联网上的域名系统是一个分布式的系统，结构上是一个四层的树状层次结构，如下图所示：

DNS 解析分为 递归查询 和 迭代查询 两种方式。其中，客户端与 Local DNS 之间一般采用递归查询，而 DNS 服务器之间一般采用迭代查询。

提示：如果 DNS 服务器之间使用递归查询，对根域名服务器的负担就太重了，而如果客户端与本地域名服务器之间使用迭代查询，DNS 服务对于客户端就显得不透明了。

所谓递归查询，与我们经常提及的递归函数的思想是一致的，即：如果 DNS 服务器查不到该域名，那么它将重新以客户端的身份向其他 DNS 服务器发送查询请求报文，客户端只要等待最终结果即可。用伪代码呈现可能比较好理解，类似这样：

fun dns(client: String, server: String, domain: String): String {
    if (server 查询 domain 成功) {
        return "ip"
    }
    // server 以客户端身份递归查询
    return dns(server, "其他 DNS 服务器", domain)
}

所谓迭代查询，即：如果 DNS 服务器查不到该域名，它不会替客户端完成后续的查询工作，而是回复下一步应当向哪一个域名服务器进行查询，随后客户端重新向这个新的 DNS 服务器发送查询请求。用伪代码呈现可能比较好理解，类似这样：

fun dns(client: String, server: String, domain: String): String {
    while (true) {
        if (server 查询 domain 成功) {
            return "ip"
        } else {
            // client 继续以客户端身份迭代查询
            server = "其他 DNS 服务器"
        }
    }
}

下面以查询www.baidu.com为例，阐述一次 DNS 解析过程：

DNS 解析过程

1.3 DNS 报文

由于下一节我们将实战抓取 DNS 包，所以这一节我们先介绍 DNS 报文格式。DNS 协议定义了三种报文，查询报文 & 应答报文 & 更新报文，它们的总体上结构是一致的。

DNS 报文首部

问题用于表达具体查询的问题，问题个数与报文首部中的 问题数（Question Count）字段一致。需要注意的是，按照 DNS 查询的目的，DNS 解析可以分为 正向解析 和 反向解析 两种，正向解析将域名解析为 IP 地址，而反向解析则恰恰相反，用于将 IP 地址解析域名。问题条目中 查询类型 是比较重要的字段，这里仅列出 5 个比较常用的类型：

QTYPE 描述
A（1） 将域名解析为 IPv4 地址
NS（2） 查询域名服务
CNAME（5） 规范名称
PTR（12） IP 地址解析为域名
AAAA（28） 将域名解析为 IPv6 地址
问题格式

NS 和 CNAME 不好理解，这里解释下：

CNAME（Canonical NAME） 是规范名称或别名，用于将一个域名指向另一个域名。具体方法是：将一个域名作为 A 记录 指向 IP 地址，而其他域名作为别名指向 A 记录的域名，此时如果需要更改 IP 地址，就不需要更改每个域名的映射了，只需要修改 A 记录 ，而 CNAME 记录将自动指向新的 IP 地址。在 第 1.4 节 DNS 解析实战 中你将直接看到 CNAME 的应用。

NS（Name Server） ：域名服务器记录，用来指定该域名由哪个 DNS 服务器来进行解析

回答资源记录、权威资源记录和附加资源记录的格式相同，其中 TTL（Time to Live，单位秒） 表示资源记录的生存时间，也就是允许缓存的时间。0 表示该记录只能用于当前响应，不允许被缓存。

资源记录格式

1.4 DNS 报文的传输协议

DNS 协议在传输层同时使用 TCP 和 UDP 协议，占用的是 53 端口，那么在什么情况下使用这两种协议？

主辅域名服务器在进行区域传送时（主辅域名服务器用于平衡负载），需要传送的数据比简单的查询 & 应答报文的数据量要大得多了。使用 UDP 传输不可靠，所以采用应用于传输大量数据，可靠性更高的 TCP 协议。

为了得到一个域名的 IP 地址，往往会向多个域名服务器查询，如果使用 TCP 协议，那么每次请求都会存在三次握手连接时延，这样使 DNS 服务变得很慢。

需要注意的是，DNS 协议规定 UDP 报文段的最大长度为 512 字节，如果 DNS 报文段过长时会被截断（此时 DNS 报文头中标志位 TC（Truncation）置为 1），多余的数据会直接丢弃。这是因为 UDP 是无连接的，无法确定哪几个 UDP 包是属于同一个 DNS 报文段的。

1.5 DNS 解析实战

计算机网络是在实践中发展起来的学科，仅停留在学习理论知识的层面是不够的，下面我们将在实践中学习 DNS 解析。在这里，我们是用 WireShark 抓取查询www.baidu.com的 DNS 请求，具体步骤如下：

在过滤条件栏输入条件：icmp || dns，如下图：

在终端输入ping www.baidu.com，如下图：

返回 WireShark，查看抓取的消息，可以看到两条 DNS 报文消息，一条为查询报文，另一条为应答报文，如下图：

现在我们具体查看这两条 DNS 报文消息，有了上一节的铺垫，相信阅读这两段报文已经很简单了。先看 DNS 协议的报文段部分，下层协议的报文段后面讲：

在这个报文里提出了一个问题，即：查询 www.baidu.com 的 IPv4 地址（A 记录），标记位指出以下信息：这是一个查询报文；这是一次正向解析；报文未截断；要求服务器执行递归查询；

从图中还验证了 DNS 在进行域名解析时使用 UDP 协议，端口号为 53，与上一小节的分析一致。另外，还可以看出 IP 包的第一跳是发送给局域网路由器，而不是直接发送给 local DNS 服务器，这也合理。

1.6 DNS 缓存

一次完整的 DNS 查询过程需要访问多台 DNS 服务器才能得到最终的结果，这肯定会带来一定的时延。为了改善时延，DNS 服务并不是每次请求都要去访问 DNS 服务器，而是访问过一次后将 DNS 记录缓存在本地。具体来说，DNS 服务是一个多级的缓存：

浏览器缓存 -> 操作系统缓存 -> 路由器缓存 -> local DNS 缓存 -> DNS 查询

缓存并不是永久有效的，前面提到过 DNS 应答报文中的 TTL（Time to Live）值，它决定了 DNS 记录在缓存中的有效时间。需要注意的是，TTL 只是一个参考值，实际使用的缓存有效时间不一定等于该值，甚至是固定值。这也引发 DNS 缓存也存在一些“副作用”，我后文再说。

2. DNS 存在的问题

经过上一节的 DNS 理论知识学习和实践探索，相信大家对 DNS 已经建立起了一定的认识。那么，DNS 是一个完备的服务吗，在实践中它有存在什么问题呢？这一节我们来讨论这个问题。

2.1 DNS 查询时延

从第一节的分析可以看出，一次完整的 DNS 查询过程需要访问多台 DNS 服务器才能得到最终的结果，这肯定会带来一定的时延。从实践来看，这个时间还不容小觑。

提示： 有赞技术团队指出，DNS 解析时延的波动较大，好的情况几毫秒、十几毫秒就完成了，差的时候，可能需要花很多时间：《有赞webview加速平台探索与建设》 —— 有赞移动组

2.2 缓存一致性

DNS 缓存的存在虽然减少了时延，却是以牺牲一致性（consistency）为代价的。具体来说：Local DNS 是分地区、分运营商的，在域名解析缓存的处理上，实现策略就不统一了。有时候 Local DNS 的解析结果 可能不是最近、最优的节点，有的时候并不会遵从 TTL 的限制，而是设置一个固定时间。这就会导致域名指向新的 IP 地址后，一些客户端依然访问了缓存中 旧的 IP 地址。

除了运营商的缓存策略外，缓存投毒也是降低 DNS 可用性的原因。攻击者可以通过 DNS 劫持，利用 DNS 的缓存机制不对应答数据做检查的漏洞，诱骗 DNS 服务器缓存较大 TTL 的虚假 DNS 记录，从而长期欺骗客户端。

2.3 DNS 劫持（中间人攻击）

由于 DNS 缺乏 加密、认证、完整性保护的安全机制，容易引发网络完全问题。最常见的域名劫持攻击是针对 DNS 报文首部的 事务 ID 进行欺骗，由于事务 ID 在查询报文和应答报文中是匹配的，因此伪装 DNS 服务器可以提前将事务 ID 相同的伪造报文发送到客户端，以实现域名劫持（前提是合法的报文还未到达），把目标网站域名解析到错误的 IP 地址。

提示： 获取事务 ID 的方法主要采用 网络监听与序列号猜测，具体可翻阅《计算机网路安全原理》 （第 8 章）—— 吴礼发 著

2.4 调度不精准问题

由于存在缓存、转发、NAT 等问题，权威的 DNS 服务器可能会误判客户端所在的位置和运营商，从而导致解析出跨运营商访问的 IP 地址，用户的访问速度降低。

3. HTTPDNS 原理

虽然 DNS 存在不少问题，但也不能因噎废食放弃整套域名系统，解决方案无非是不走寻常路，换一种方式获取 IP 地址 —— HTTPDNS。

3.1 HTTPDNS 简介

与传统的 DNS 解析不同，HTTPDNS 是自己搭建基于 HTTP 协议的服务器，当客户端需要 DNS 解析的时候，不再向 local 发送 DNS 查询报文，而是直接通过请求直接访问 HTTPDNS 接口。而服务端则根据客户端的位置和所属运营商，返回就近的 IP 地址。

当然了，基于容灾考虑，当出现 HTTPDNS 不可用时会触发降级策略，使用运营商 LocalDNS 进行域名解析。

HTTPDNS 原理

3.2 HTTPDNS 优势

相对与 DNS，HTTPDNS 的主要优点如下：

3.3 HTTPDNS 正向效益

目前，腾讯、阿里和百度都有自己的 HTTPDNS 解决方案，笔者收集了他们公示的使用效益，具体如下：

4. 总结

应试方面，建议重点掌握四层 DNS 解析过程 & HTTPDNS 原理、理解知晓 DNS 存在的问题、DNS 报文格式重点理解 TTL、几种查询类型。

参考资料

实用资源

推荐阅读

感谢喜欢！你的点赞是对我最大的鼓励！欢迎关注彭旭锐的GitHub！

上一篇 下一篇

猜你喜欢

热点阅读