讲真,理解 HTTPS 这一篇就够了
前言
本文将逐步的来还原 HTTPS 的设计过程,理解从 HTTP 到 HTTPS 的转变中,到底都发生了些什么。
HTTP 的缺陷
首先先来说说为什么需要 HTTPS, 也就是 HTTP 的主要不足是什么
- 通信使用明文(不加密),内容可能会被窃听
- 不验证通信方的身份,因此有可能遭遇伪装
- 无法证明报文的完整性,所以有可能已遭篡改
通信使用明文可能被窃听
HTTP 本身不具备加密的功能,即 HTTP 报文使用明文(指未经过加密的报文)方式发送。
所谓互联网,是由能连通到全世界的网络组成的。无论世界哪个角落的服务器在和客户端通信时,在此通信线路上的某些网络设备、光缆、计算机等都不可能是个人的私有物,所以不排除某个环节中会遭到恶意窥视行为。
比如使用免费的抓包工具 Wireshark, 就可以获取 HTTP 的请求和响应报文进行分析。
加密处理防止被窃听
目前大家正在研究的如何防止窃听保护信息的几种对策中,最为普及的就是加密技术。加密的对象为以下
通信加密
HTTP 协议中没有加密机制,但可以通过和 SSL(Secure Socket Layer,安全套接层)或 TLS(Transport Layer Security,安全层传输协议)的组合使用,加密 HTTP 的通信内容
通常,HTTP 直接和 TCP 通信。当使用 SSL 时,则演变成先和 SSL 通信,再由 SSL 和 TCP 通信了。用 SSL 建立安全通信线路之后,就可以在这条线路上进行 HTTP 通信了。
SSL 是独立于 HTTP 的协议,所以不光是 HTTP 协议,其他运行在应用层的 SMTP 和 Telnet 等协议均可配合 SSL 协议使用。可以说 SSL 是当今世界上应用最为广泛的网络安全技术。
内容的加密
由于 HTTP 协议中没有加密机制,那么就对 HTTP 协议传输的内容本身加密。即把 HTTP 报文里所含的内容进行加密处理。
在这种情况下,客户端需要对 HTTP 报文进行加密处理后再发送请求。
为了做到有效的内容加密,前提是要求客户端和服务器同时具备加密和解密机制。
不验证通信方的身份就可能遭遇伪装
在 HTTP 协议通信时,由于不存在确认通信方的处理步骤,任何人都可以发起请求。另外,服务器只要接收到请求,不管对方是谁都会返回一个响应 (但也仅限于发送端的 IP 地址和端口号没有被 Web 服务器设定限制访问的前提下)
HTTP 协议的实现本身非常简单,不论是谁发送过来的请求都会返回响应,因此不确认通信方,会存在以下各种隐患
- 无法确定请求发送至目标的 Web 服务器是否是按真实意图返回响应的那台服务器。有可能是伪装的 Web 服务器
- 无法确定响应返回到的客户端是否是按真实意图接收响应的那个客户端。有可能是伪装的客户端
- 无法确定正在通信的对方是否具备访问权限。因为某些 Web 服务器上保存着重要的信息,只想发给特定用户通信的权限
- 即使是无意义的请求也会照单全收。无法阻止海量请求下的 DoS 攻击 (Denial of Service,拒绝服务攻击)
使用证书验证身份
虽然使用 HTTP 协议无法确定通信方,但如果使用 SSL 则可以。SSL 不仅提供加密处理,而且还使用了一种被称为证书的手段,可用于确定双方身份
证书由值得信任的第三方机构颁发,用以证明服务器和客户端是实际存在的。另外,伪造证书从技术角度来说是异常困难的一件事。所以只要能够确认通信方(服务器或客户端)持有的证书,即可判断通信方的真实意图
通过使用证书,以证明通信方就是意料中的服务器。这对使用者个人来讲,也减少了个人信息泄露的危险性。
另外,客户端持有证书即可完成个人身份的确认,也可用于对 Web 网站的认证环节。
古往今来,三角恋的关系一直都不被看好,但是在 HTTPS 的协议里,客户端,服务器和被信赖的第三方机构这三者的关系确实奠定一切的基础。
无法证明报文完整性,可能已遭篡改
所谓完整性是指信息的准确度。若无法证明其完整性,通常也就意味着无法判断信息是否准确
由于 HTTP 协议无法证明通信的报文完整性,因此在请求或响应送
出之后直到对方接收之前的这段时间内,即使请求或响应的内容遭到篡改,也没有办法获悉。
比如,从某个 Web 网站上下载内容,是无法确定客户端下载的文件和服务器上存放的文件是否前后一致的。文件内容在传输途中可能已经被篡改为其他的内容。即使内容真的已改变,作为接收方的客户端也是觉察不到的。
像这样,请求或响应在传输途中,遭攻击者拦截并篡改内容的攻击称为中间人攻击(Man-in-the-Middle attack,MITM)。
虽然 HTTP 协议中有确定报文完整性的方法,但事实上并不便捷、可靠。其中常用的是 MD5 和 SHA-1 等散列值校验的方法,以及用来确认文件的数 字签名方法。
可惜的是,用这些方法也依然无法百分百保证确认结果正确。因 MD5 本身被改写的话,用户是没有办法意识到的。
为了有效防止这些弊端,有必要使用 HTTPS。SSL 提供认证和加密处理及摘要功能。仅靠 HTTP 确保完整性是非常困难的,因此通过和其他协议组合使用来实现这个目标。
HTTP+ 加密 + 认证 + 完整性保护 = HTTPS
HTTPS 并非是应用层的一种新协议。只是 HTTP 通信接口部分用 SSL(Secure Socket Layer)和 TLS(Transport Layer Security)协议代替而已。
简言之,所谓 HTTPS,其实就是身披 SSL 协议这层外壳的 HTTP
加密方法
在对 SSL 进行讲解之前,我们先来了解一下加密方法。
加密方法只是解决方案,我们首先要做的是理解我们的问题域——什么是安全?
A 与 B 通信的内容,有且只有 A 和 B 有能力看到通信的真正内容
好,问题域已经定义好了(现实中当然不止这一种定义)。�对于解决方案,很容易就想到了对消息进行加密。
共享密钥方式加密(对称密钥加密)
加密和解密同用一个密钥的方式称为共享密钥加密(Common key crypto system),也被叫做对称密钥加密。
只要这个密钥不公开给第三者,同时密钥足够安全,我们就解决了我们一开始所定问题域了。因为世界上有且只有图上的客户端与服务器知道如何加密和解密他们之间的消息。
但是在实际的互联网环境下 Web 服务器的通信模型没有这么简单,因为如果服务器端对所有的客户端通信都使用同样的对称加密算法,无异于没有加密。所以实际中 Web 服务器与每个客户端使用不同的对称加密算法
以共享密钥方式加密(对称密钥加密)时必须将密钥也发给对方。那么就会产生一个新的问题,究竟怎样才能安全地转交?
在互联网上转发密钥时,如果通信被监听那么密钥就可会落入攻击者之 手,同时也就失去了加密的意义。另外还得设法安全地保管接收到的密钥。
发送密钥就有被窃听的风险,但不发送,对方就不能解密。再说,密钥若能够安全发送,那数据也应该能安全送达
公开密钥加密(非对称加密)
密码学领域中,有一种称为“非对称加密”的加密算法,特点是私钥加密后的密文,只要是公钥,都可以解密,但是公钥加密后的密文,只有私钥可以解密。私钥只有一个人有,而公钥可以发给所有的人。
使用公开密钥加密方式,发送密文的一方使用对方的公开密钥进行加密处理,对方收到被加密的信息后,再使用自己的私有密钥进行解密。利用这种方式,不需要发送用来解密的私有密钥,也不必担心密钥被攻击者窃听而盗走。
另外,要想根据密文和公开密钥,恢复到信息原文是异常困难的,因为解密过程就是在对离散对数进行求值,这并非轻而易举就能办到。退一步讲,如果能对一个非常大的整数做到快速地因式分解,那么密码破解还是存在希望的。但就目前的技术来看是不太现实的。
HTTPS 加密机制
若密钥能够实现安全交换,那么有可能会考虑仅使用公开密钥加密来通信。但是公开密钥加密与共享密钥加密相比,其处理速度要慢。
所以应充分利用两者各自的优势,将多种方法组合起来用于通信。在交换密钥环节使用公开密钥加密方式,之后的建立通信交换报文阶段则使用共享密 钥加密方式。
HTTPS 采用共享密钥加密和公开密钥加密两者并用的混合加密机制
公开密钥加密处理起来比共享密钥加密方式更为复杂,因此若在通信时使用公开密钥加密方式,效率就很低
证明公开密钥正确性的证书
细心的人可能已经注意到了如果使用公开密钥加密,客户端必须需要一开始就持有公钥,要不没法开展加密行为啊,所以需要服务器端将公钥发送给每一个客户端。
遗憾的是,公开密钥加密方式还是存在一些问题的。那就是无法证明公开密钥本身就是货真价实的公开密钥。比如,正准备和某台服务器建立公开密钥加密方式下的通信时,如何证明收到的公开密钥就是原本预想的那台服务器发行的公开密钥。既如果服务器端发送公钥给客户端时,被中间人调包了,怎么办?
为了解决上述问题,可以使用由数字证书认证机构(CA,Certificate Authority)和其相关机关颁发的公开密钥证书。
数字证书认证机构处于客户端与服务器双方都可信赖的第三方机构的立场上。服务器会将这份由数字证书认证机构颁发的公钥证书发送给客户端,以进行公开密钥加密方式通信。公钥证书也可叫做数字证书或直接称为证书。
接到证书的客户端可使用数字证书认证机构的公开密钥,对那张证书上的数字签名进行验证,一旦验证通过,客户端便可明确两件事:
- 认证服务器的公开密钥的是真实有效的数字证书认证机构
- 服务器的公开密钥是值得信赖的
此处认证机关的公开密钥必须安全地转交给客户端。使用通信方式时,如何安全转交是一件很困难的事,因此,多数浏览器开发商发布版本时,会事先在内部植入常用认证机关的公开密钥
到这里可能会感觉 HTTPS 的通信过程结束了,但是还遗漏了一个场景:
第三方机构不可能只给你一家公司制作证书,它也可能会给中间人这样有坏心思的公司发放证书。这样的,中间人就有机会对你的证书进行调包,客户端在这种情况下是无法分辨出是接收的是你的证书,还是中间人的。因为不论中间人,还是你的证书,都能使用第三方机构的公钥进行解密。如图
那客户端是如何来验证证书的呢? 答案是证书本身就已经告诉客户端怎么验证证书的真伪。
证书上写着如何根据证书的内容生成证书编号。客户端拿到证书后根据证书上的方法自己生成一个证书编号,如果生成的证书编号与证书上的证书编号相同,那么说明这个证书是真实的。
同时,为避免证书编号本身又被调包,所以使用第三方的私钥进行加密。
证书的制作如图所示
当客户端拿到证书后,开始对证书中的内容进行验证,如果客户端计算出来的证书编号与证书中的证书编号相同,则验证通过:
以上即为 HTTPS 通信的全部过程
思路整理
为了更好地理解 HTTPS,我们来整理一下 HTTPS 的通信步骤
- 客户端通过发送 Client Hello 报文开始 SSL 通信。报文中包含客户端支持的 SSL 的指定版本、加密组件(Cipher Suite)列表(所使用的加密算法及密钥长度等)
- 服务器可进行 SSL 通信时,会以 Server Hello 报文作为应答。和客户端一样,在报文中包含 SSL 版本以及加密组件。服务器的加密组件内容是从接收 到的客户端加密组件内筛选出来的。
- 之后服务器发送 Certificate 报文。报文中包含公开密钥证书。
- 最后服务器发送 Server Hello Done 报文通知客户端,最初阶段的 SSL 握手协商部分结束。
- SSL 第一次握手结束之后,客户端以 Client Key Exchange 报文作为回应。报文中包含通信加密中使用的一种被称为 Pre-master secret 的随机密码串。该 报文已用步骤 3 中的公开密钥进行加密。
- 接着客户端继续发送 Change Cipher Spec 报文。该报文会提示服务器,在此报文之后的通信会采用 Pre-master secret 密钥加密。
- 客户端发送 Finished 报文。该报文包含连接至今全部报文的整体校验值。这次握手协商是否能够成功,要以服务器是否能够正确解密该报文作为判定标准。
- 服务器同样发送 Change Cipher Spec 报文。
- 服务器同样发送 Finished 报文。
- 服务器和客户端的 Finished 报文交换完毕之后,SSL 连接就算建立完成。当然,通信会受到 SSL 的保护。从此处开始进行应用层协议的通信,即发 送 HTTP 请求。
- 应用层协议通信,即发送 HTTP 响应。
- 最后由客户端断开连接。断开连接时,发送 close_notify 报文。
以上做了一些省略,这步之后再发送 TCP FIN 报文来关闭与 TCP 的通信。
在以上流程中,应用层发送数据时会附加一种叫做 MAC(Message Authentication Code)的报文摘要。MAC 能够查知报文是否遭到篡改,从而保护报文的完整性。
HTTPS 缺陷
HTTPS 也存在一些问题,那就是当使用 SSL 时,它的处理速度会变慢。
由于 HTTPS 还需要做服务器、客户端双方加密及解密处理,因此会消耗 CPU 和内存等硬件的资源
和 HTTP 通信相比,SSL 通信部分消耗网络资源。而 SSL 通信部分,又因为要对通信进行处理,所以时间上又延长了
相关技术文章推荐
想了解如何给自己的网站启用 HTTPS 可以参考左耳朵耗子的如何免费的让网站启用HTTPS
Android HTTPS 相关的可以参考鸿洋的Android HTTPS 相关完全解析 当 OKHttp 遇到 Https
参考