HTTP协议详解

相关概念

互联网:是网络的网络，是所有类型网络的母集。

因特网: 世界上最大的互联网网络,但是因特网概念属于互联网概念,习惯上,大家把英特网上的计算机成为主机.

万维网:WWW（world wide web）万维网并非某种特殊的计算机网络，是一个大规模的、联机式的信息贮藏所，使用链接的方法能非常方便地从因特网上的一个站点访问另一个站点（超链技术），具有提供分布式服务的特点。万维网是一个分布式的超媒体系统，是超文本系统的扩充，基于B/S架构实现

URL：万维网使用统一资源定位符（Uniform Resource Locator）来标志万维网上的各种文档，并使每个文档在整个因特网的范围内具有唯一的标识符URL

HTTP：为解决"用什么样的网络协议来实现整个因特网上的万维网文档”这一难题，就要使万维网客户程序（以浏览器为主，但不限于浏览器）与万维网服务器程序之间的交互遵守严格的协议，即超文本传送协议（HyperText Transfer Protocol）。HTTP是处于应用层的协议，使用TCP传输层协议进行可靠的传送。因此，需要特别提醒的是，万维网是基于因特网的一种广泛因特网应用系统，且万维网采用的是HTTP（80/TCP）和 HTTPS（443/TCP）的传输协议，但因特网还有其他的网络应用系统（如：FTP、SMTP等等）。

HTML：为了解决"怎样使不同作者创作的不同风格的万维网文档，都能在因特网上的各种主机上显示出来，同时使用户清楚地知道在什么地方存在着链接”这一问题，万维网使用超文本标记语言（HyperTextMarkup Language），使得万维网页面的设计者可以很方便地用链接从页面的某处链接到因特网的任何一个万维网页面，并且能够在自己的主机品目上将这些页面显示出来。HTML与txt一样，仅仅是是一种文档，不同之处在于，这种文档专供于浏览器上为浏览器用户提供统一的界面呈现的统一规约。且具备结构化的特征，这是txt所不具备的强制规定。

HTTP协议通讯过程

HTTP(超文本传输协议)是一种用于分布式,协作和超媒体信息系统的应用层协议,HTTP协议是万维网的数据通道的基础的设计HTTP最初目的就是为了提供一种能够远距离共享和识别的方式,接触多文档,进行关联实现超文本,两层互相可以观看的万维网

通讯过程

HTTP协议分层

总结如下

1.创建新的套接字socket

2.将套接字绑定到端口80 上面取(bind)

3.允许套接字进行连接.(listen)

4.等待连接(accept)

5.通知应用程序,有应用程序的连接到来.

• 获取IP地址和端口
• 创建新的套接字
• 连接到新的服务器上面(port)
• 连接成功

6.开始读取请求,(read)

• 发送HTTP请求
• 等待HTTP响应

7.处理HTTP请求报文

• 处理HTTP响应

8.回送HTTP响应(write)

9.关闭连接(close)

简述web 前端开发语言

• html 超文本标记语言,编辑语言,主要复制实现页面结构
• css 层叠样式表,定义了如何显示(装扮)HTML 元素,比如字体大小和颜色属性等,样式通常保存在外部的,css.文件中,通过仅编辑一个简单的css文档,可以同时改变站点种所有页面的布局和外观
• js 实现网页的动画效果,但其本质是静态资源

URI 和URL

URI： Uniform Resource Identifier 统一资源标识，分为URL 和 URN
URN：Uniform Resource Naming，统一资源命名

示例： P2P下载使用的磁力链接是URN的一种实现magnet:xt=urn:btih:660557A6890EF888666

URL：Uniform Resorce Locator，统一资源定位符，用于描述某服务器某特定资源位置两者区别：URN如同一个人的名称，而URL代表一个人的住址。换言之，URN定义某事物的身份，而
URL提供查找该事物的方法。URN仅用于命名，而不指定地址
URL组成

<scheme>://<user>:<password>@<host>:<port>/<path>;<params>?<query>#<frag>

• scheme:方案，访问服务器以获取资源时要使用哪种协
• user:用户，某些方案访问资源时需要的用户名
• password:密码，用户对应的密码，中间用：分隔
• Host:主机，资源宿主服务器的主机名或IP地址
• port:端口,资源宿主服务器正在监听的端口号，很多方案有默认端口号
• path:路径,服务器资源的本地名，由一个/将其与前面的URL组件分隔
• params:参数，指定输入的参数，参数为名/值对，多个参数，用;分隔
• query:查询，传递参数给程序，如数据库，用？分隔,多个查询用&分隔
• frag:片段,一小片或一部分资源的名字，此组件在客户端使用，用#分隔

URL示例

http://www.magedu.com:8080/images/logo.jpg
ftp://mage:password@172.16.0.1/pub/linux.ppt
rtsp://videoserver/video_demo/ #Real Time Streaming Protocol
gcomm://10.0.0.8,10.0.0.18,10.0.0.28
http://www.magedu.com/bbs/hello;gender=f/send;type=title
https://list.jd.com/list.html?
cat=670,671,672&ev=14_2&sort=sort_totalsales15_desc&trans=1
http://apache.org/index.html#projects-list

网站访问统计的重要指标

• IP(独立IP)：即Internet Protocol,指独立IP数。一天内来自相同客户机IP 地址只计算一次，记录远程客户机IP地址的计算机访问网站的次数，是衡量网站流量的重要指标
• PV(访问量)： 即Page View, 页面浏览量或点击量，用户每次刷新即被计算一次，PV反映的浏览某网站的页面数，PV与来访者的数量成正比，PV并不是页面的来访者数量，而是网站被访问的页面数量
• UV(独立访客)：即Unique Visitor,访问网站的一台电脑为一个访客。一天内相同的客户端只被计算一次。可以理解成访问某网站的电脑的数量。网站判断来访电脑的身份是通过cookies实现的。如果更换了IP后但不清除cookies，再访问相同网站，该网站的统计中UV数是不变的

网站访问量

QPS：request per second，每秒请求数

• PV，QPS和并发连接数换算公式

• QPS= PV 页面衍生连接次数/ 统计时间（86400）
  并发连接数 =QPS http平均响应时间

  峰值时间：每天80%的访问集中在20%的时间里，这20%时间为峰值时间

  峰值时间每秒请求数(QPS)=( 总PV数 页面衍生连接次数）80% ) / ( 每天秒数 * 20% )

HTTP工作机制

一次http事务包括:

• http请求:http request
• http相应:http response

Web资源：web resource， 一个网页由多个资源（文件）构成，打开一个页面，通常会有多个资源展示出来，但是每个资源都要单独请求。因此，一个"Web 页面”通常并不是单个资源，而是一组资源的集合

资源类型：

• 静态文件：无需服务端做出额外处理
  文件后缀：.html, .txt, .jpg, .js, .css, .mp3, .avi
• 动态文件：服务端执行程序，返回执行的结果
  文件后缀：.php, .jsp ,.asp

提高HTTP连接性能

• 并行连接：通过多条TCP连接发起并发的HTTP请求
• 持久连接：keep-alive，重用TCP连接，以消除连接和关闭的时延,以事务个数和时间来决定是否关闭连接
• 管道化连接：通过共享TCP连接，发起并发的HTTP请求
• 复用的连接：交替传送请求和响应报文（实验阶段

HTTP 协议版本

http/0.9：
1991，原型版本，功能简陋，只有一个命令GET。GET /index.html ,服务器只能回应HTML格式字符串，不能回应别的格式

http/1.0
1996年5月,支持cache, MIME, method每个TCP连接只能发送一个请求，发送数据完毕，连接就关闭，如果还要请求其他资源，就必须再新建一个连接

引入了POST命令和HEAD命令头信息是

ASCII 码，后面数据可为任何格式。服务器回应时会告诉客户端，数据是什么格式，即
Content-Type字段的作用。这些数据类型总称为MIME 多用途互联网邮件扩展，每个值包括一级类型和二级类型，预定义的类型，也可自定义类型, 常见Content-Type值：text/xml image/jpeg audio/mp3

http/1.1

• 1997年1月，引入了持久连接（persistent connection），即TCP连接默认不关闭，可以被多个请求复用，不用声明Connection: keep-alive。对于同一个域名，大多数浏览器允许同时建立6个持久连接引入了管道机制，即在同一个TCP连接里，客户端可以同时发送多个请求，进一步改进了HTTP协议的效率新增方法：PUT、PATCH、OPTIONS、DELETE
• 同一个TCP连接里，所有的数据通信是按次序进行的。服务器只能顺序处理回应，前面的回应慢，会有许多请求排队，造成"队头堵塞"（Head-of-line blocking）为避免上述问题，两种方法：一是减少请求数，二是同时多开持久连接。
• 网页优化技巧，如合并脚本和样式表、将图片嵌入CSS代码、域名分片（domain sharding）等
  HTTP 协议不带有状态，每次请求都必须附上所有信息。请求的很多字段都是重复的，浪费带宽，影响速度

HTTP1.0和HTTP1.1的区别

• 缓存处理，在HTTP1.0中主要使用header里的If-Modified-Since,Expires来做为缓存判断的标准，HTTP1.1则引入了更多的缓存控制策略例如Entity tag，If-Unmodified-Since, If-Match, If-None-Match等更多可供选择的缓存头来控制缓存策略
• 带宽优化及网络连接的使用，HTTP1.0中，存在一些浪费带宽的现象，例如：客户端只是需要某个对象的一部分，而服务器却将整个对象送过来了，并且不支持断点续传功能，HTTP1.1则在请求头引入了range头域，它允许只请求资源的某个部分，即返回码是206（Partial Content），方便了开发者自由的选择以便于充分利用带宽和连接
• 错误通知的管理，在HTTP1.1中新增24个状态响应码，如409（Conflict）表示请求的资源与资源当前状态冲突；410（Gone）表示服务器上的某个资源被永久性的删除
• Host 头处理，在HTTP1.0中认为每台服务器都绑定一个唯一的IP地址，因此，请求消息中的URL并没有传递主机名（hostname）。但随着虚拟主机技术的发展，在一台物理服务器上可以存在多个虚拟主机（Multi-homed Web Servers），并且它们共享一个IP地址。HTTP1.1的请求消息和响应消息都应支持Host头域，且请求消息中如果没有Host头域会报告一个错误（400 BadRequest）
• 长连接，HTTP 1.1支持长连接（PersistentConnection）和请求的流水线（Pipelining）处理，在一个TCP连接上可以传送多个HTTP请求和响应，减少了建立和关闭连接的消耗和延迟，在HTTP1.1中默认开启Connection： keep-alive，弥补了HTTP1.0每次请求都要创建连接的缺点

HTTP1.0和1.1的问题

• HTTP1.x在传输数据时，每次都需要重新建立连接，无疑增加了大量的延迟时间，特别是在移动端更为突出
• HTTP1.x在传输数据时，所有传输的内容都是明文，客户端和服务器端都无法验证对方的身份，无法保证数据的安全性
• HTTP1.x在使用时，header里携带的内容过大，增加了传输的成本，并且每次请求header基本不
  怎么变化，尤其在移动端增加用户流量
• 虽然HTTP1.x支持了keep-alive，来弥补多次创建连接产生的延迟，但是keep-alive使用多了同样会给服务端带来大量的性能压力，并且对于单个文件被不断请求的服务(例如图片存放网站)，keep-alive可能会极大的影响性能，因为它在文件被请求之后还保持了不必要的连接很长时间

HTTPS协议：

为解决安全问题，网景在1994年创建了HTTPS，并应用在网景导航者浏览器中。 最初，HTTPS是与SSL一起使用的；在SSL逐渐演变到TLS时（其实两个是一个东西，只是名字不同而已），最新的HTTPS也由在2000年五月公布的RFC 2818正式确定下来。HTTPS就是安全版的HTTP，目前大型网站基本实现全站HTTPS

HTTPS特点

• HTTPS协议需要到CA申请证书，一般免费证书很少，需要交费
• HTTP协议运行在TCP之上，所有传输的内容都是明文，HTTPS运行在SSL/TLS之上，SSL/TLS运行在TCP之上，所有传输的内容都经过加密的
• HTTP和HTTPS使用的是不同的连接方式，端口不同，前者是80，后者是443
• HTTPS可以有效的防止运营商劫持，解决了防劫持的一个大问题
• HTTPS 实现过程降低用户访问速度，但经过合理优化和部署，HTTPS 对速度的影响还是可以接受的

SPDY协议

SPDY：2009年谷歌研发，综合HTTPS和HTTP两者有点于一体的传输协议，主要特点：

• 降低延迟，针对HTTP高延迟的问题，SPDY优雅的采取了多路复用（multiplexing）。多路复用通过多个请求stream共享一个tcp连接的方式，解决了HOL blocking的问题，降低了延迟同时提高了带宽的利用率
• 请求优先级（request prioritization）。多路复用带来一个新的问题是，在连接共享的基础之上有可能会导致关键请求被阻塞。SPDY允许给每个request设置优先级，重要的请求就会优先得到响应。比如浏览器加载首页，首页的html内容应该优先展示，之后才是各种静态资源文件，脚本文件等加载，可以保证用户能第一时间看到网页内容
• header压缩。HTTP1.x的header很多时候都是重复多余的。选择合适的压缩算法可以减小包的大小和数量
• 基于HTTPS的加密协议传输，大大提高了传输数据的可靠性
• 服务端推送（server push），采用了SPDY的网页，例如网页有一个sytle.css的请求，在客户端收到sytle.css数据的同时，服务端会将sytle.js的文件推送给客户端，当客户端再次尝试获取sytle.js时就可以直接从缓存中获取到，不用再发请求了

HTTP2协议

http/2.0：2015年，HTTP2.0是SPDY的升级版

• 头信息和数据体都是二进制，称为头信息帧和数据帧
• 复用TCP连接，在一个连接里，客户端和浏览器都可以同时发送多个请求或回应，且不用按顺序一一对应，避免了"队头堵塞",此双向的实时通信称为多工（Multiplexing）
• 引入头信息压缩机制（header compression）,头信息使用gzip或compress压缩后再发送；客户端和服务器同时维护一张头信息表，所有字段都会存入这个表，生成一个索引号，不发送同样字段，只发送索引号，提高速度
• HTTP/2 允许服务器未经请求，主动向客户端发送资源，即服务器推送（server push）

HTTP2.0和SPDY区别：

• HTTP2.0 支持明文 HTTP 传输，而 SPDY 强制使用 HTTPS
• HTTP2.0 消息头的压缩算法采用 HPACK，而非 SPDY 采用的 DEFLATE

HTTP 请求访问的完整过程

一次完整的http请求处理过程

1、建立连接：接收或拒绝连接请求
2、接收请求：接收客户端请求报文中对某资源的一次请求的过程

Web访问响应模型（Web I/O）

• 单进程I/O模型：启动一个进程处理用户请求，而且一次只处理一个，多个请求被串行响应
• 多进程I/O模型：并行启动多个进程,每个进程响应一个连接请求(不适合大量访问)
• 复用I/O结构：启动一个进程，同时响应N个连接请求
• 复用的多进程I/O模型：启动M个进程，每个进程响应N个连接请求，同时接收M*N个请求

3、处理请求：服务器对请求报文进行解析，并获取请求的资源及请求方法等相关信息，根据方法，资
源，首部和可选的主体部分对请求进行处理

常用请求Method: GET、POST、HEAD、PUT、DELETE、TRACE、OPTIONS

4、访问资源：服务器获取请求报文中请求的资源web服务器，即存放了web资源的服务器，负责向请求者提供对
方请求的静态资源，或动态运行后生成的资源

5、构建响应报文：一旦Web服务器识别除了资源，就执行请求方法中描述的动作，并返回响应报文。响应报文中 包含
有响应状态码、响应首部，如果生成了响应主体的话，还包括响应主体
1）响应实体：如果事务处理产生了响应主体，就将内容放在响应报文中回送过去。响应报文中通常包
括：

• 描述了响应主体MIME类型的Content-Type首部
• 描述了响应主体长度的Content-Length
• 实际报文的主体内容

2）URL重定向：web服务构建的响应并非客户端请求的资源，而是资源另外一个访问路径
3）MIME类型： Web服务器要负责确定响应主体的MIME类型。多种配置服务器的方法可将MIME类型
与资源管理起来

• 魔法分类：Apache web服务器可以扫描每个资源的内容，并将其与一个已知模式表(被称为魔法文件)进行匹配，以决定每个文件的MIME类型。这样做可能比较慢，但很方便，尤其是文件没有标准扩展名时
• 显式分类：可以对Web服务器进行配置，使其不考虑文件的扩展名或内容，强制特定文件或目录内容拥有某个MIME类型
• 类型协商： 有些Web服务器经过配置，可以以多种文档格式来存储资源。在这种情况下，可以配置Web服务器，使其可以通过与用户的协商来决定使用哪种格式(及相关的MIME类型)"最好"

6、发送响应报文:Web服务器通过连接发送数据时也会面临与接收数据一样的问题。服务器可能有很多条到各个客户端的连接，有些是空闲的，有些在向服务器发送数据，还有一些在向客户端回送响应数据。服务器要记录连接的状态，还要特别注意对持久连接的处理。对非持久连接而言，服务器应该在发送了整条报文之后，关闭自己这一端的连接。对持久连接来说，连接可能仍保持打开状态，在这种情况下，服务器要正确地计算Content-Length首部，不然客户端就无法知道响应什么时候结束

7、记录日志:最后，当事务结束时，Web服务器会在日志文件中添加一个条目，来描述已执行的事务

原文：https://blog.51cto.com/13887323/2544281