HTTP 协议详解

scheme协议。常用的协议有 http、https、ftp等另外 scheme 也常常被称为 protocol。
usernamepassowrd用户名和密码有时候登陆时会显示现在用到比较少
hostname主机地址该地址可以是域名也可以是IP地址比如 https://www.baidu.com 这个 URL 中的 hostname 就是 www.baidu.com百度的二级域名。
port端口这个就是服务器设定的服务端口例如 https:127.0.0.1:8080 这个 URL 中的端口就是 8080。但是有些 URL 中没有端口信息这是使用了默认端口例如 http 协议的默认端口是 80https 协议的默认端口是443。
path路径指的就是网络资源在服务器中的指定地址
parameters参数用来指定访问某个资源时的附加信息
query查询用来查询某个类资源如果又多个资源则用 & 隔开
fragment片段是对资源描述的部分补充。

3URL encode

在URL格式中像 / ? : @ 等这样的字符已经被URL当做特殊字符使用。如果 URL 中查询部分涉及到这些特殊字符就可能导致该 URL 解析错误。

这个原理就像编程语言中的变量名不能是“关键字”一样。例如在java中我们不能给一个变量起名为 ‘int’。

针对这种情况的发生我们就会对 URL 中的特殊字符进行转义这个转义过程就叫 URL endcode。

例我在百度中搜索“C++”在URL中 ‘+’ 就被转义为 “%2B”。

除了特殊字符之外中文也会进行转义

查看转义编码网站查看字符编码UTF-8

3、HTTP 协议格式

HTTP协议格式可以分为两种HTTP请求报文格式和 HTTP响应报文格式。

我们打开 fiddler在浏览器访问 www.baidu.com在 fiddler 中查看请求和响应

1请求报文格式

我们先来看HTTP请求报文分为四个部分

第一部分首行

首行包括HTTP方法+URL+版本号

HTTP方法也就是你想通过该请求做些什么事情常见的方法有 GET、POST 这些具体会在请求头中介绍。
URL 请求的网址
版本号一般情况下会省略

第二部分请求头header

请求头主要由一个个键值对组成。每一行是一个键值对键和值之间使用 “: ” 来分割。

第三部分空行

空行代表 header 的结束的标记。一个HTTP请求的 header 可以有若干个官方就用空行作为 header 的结束标记类似于链表的 null。

第四部分正文 body

正文部分并不是所有的请求都有的一些需要提交数据的请求中就会包含。

例如我正在写这篇文章我抓取该网页请求就能看见请求中正文。

正文格式有很多格式常见的就是json

2响应报文格式

响应报文跟请求报文类似也分四个部分

第一部分首行

首行包括版本号+状态码+状态码描述

版本号与请求首行里的版本号相同
状态码描述当前请求的“状态”例如200请求成功、404未找到
状态码描述对状态码的解释说明

第二部分响应头 header

与请求中header一样都是由多个键值对组成。每个键值对占一行键和值之间使用空格来分割。

第三部分空行

header 的结束标记

第四部分正文body

正文格式有很多中常见的就是 json、html等此处访问百度的响应报文中正文就是html如果是登陆页面的话json格式的多一点。

3协议格式总结

这里简单介绍一下协议格式接下来具体介绍请求和响应报文内部细节。

4、HTTP 请求Request

请求由客户端发往服务器分为四部分请求方法Request Method、请求的网址Request URL、请求头Request Headers、请求体Request Body。下面分别介绍这四部分。

1请求方法

请求方法用于标识请求客户请求服务端的方式常见的请求的方法有GET 和 POST。

① GET

GET 是最常用的 HTTP 方法常用与获取服务器上的某个资源。GET 传递数据时会把数据放到 URL的 query 中。例如我们在百度中搜索“java”便发起一个GET请求地址中就会出现若干键值对其中一个就包含我们的输入的请求“java”。

常见的构造GET请求的场景

浏览器地址栏直接输入URL
html 里面的 link、a、img、script
form 表单
ajax

② POST

POST 方法也是一种常见的方法常用于提交用户输入的数据给服务器例如登陆页面等。

常见的构造POST请求的场景

HTML中from标签
ajax

我们平常遇到的绝大部分请求是 GET 或 POST 请求。除了这个两个还有一些请求方法如下

方法	说明	支持的HTTP协议版本
GET	获取资源	1.0、1.1
POST	传输实体主体	1.0、1.1
PUT	传输文件	1.0、1.1
HEAD	获取报文首部	1.0、1.1
DELETE	删除文件	1.0、1.1
OPTIONS	询问支持的方法	1.1
TRACE	追踪路径	1.1
CONNECT	要求用隧道协议连接代理	1.1
LINK	建立和资源之间的联系	1.0
UNLINE	断开连接关系	1.0

2请求的网址Request URL

请求网址可以唯一确定客户端想要请求的资源也就是URL。关于URL的各个细节这里就不再赘述了。

3请求头Request Headers

请求头也叫报头用来说明服务器要使用的附加信息这些信息可能不止一条而且整体结构呈现“键值对”的格式每个键值对占一行键和值之间用分号分割。

这些信息的种类有很多以下主要介绍一些重要的。

1. Host

表示服务器主机的地址和端口通俗点就是去哪里找到服务器。

例如在浏览器搜索www.baidu.com发送的请求中Host的值就为www.baidu.com

一般Host的值就是 IP + 端口这里的端口可以省略。

省略代表默认值HTTP 的默认值为 80Https 的默认值为 443

2. Content-Length

表示body中的数据长度

如果发送报文没有body的话就没有该信息

3. Content-type

表示请求的body中的数据格式。body 中的数据可以放很多中格式对于接收方来说解析方式是截然不同的。

常见的形式

application/x-www-form-urlencoded: form 表单提交的数据格式. 此时 body 的格式形如:

multipart/form-data: form 表单提交的数据格式(在 form 标签中加上enctyped="multipart/form-data" 通常用于提交图片/文件。body 格式形如:

application/json: 数据为 json 格式。body 格式形如

Content-type 更多细节MIME types (IANA media types) - HTTP | MDN

4. User-Agent

简称UA这是一个特殊的字符串头可以是服务器识别客户端使用的操作系统即版本、浏览器即版本等信息。

关于 User-Agent https://www.nowamagic.net/librarys/veda/detail/2576

5. Referer

用于标识请求是从哪个页面发送过来的服务器可以拿到这一信息并做相应的处理如做来源设计、防盗链处理等。

注如果直接在浏览器中输入URL或者直接通过收藏夹访问页面时是没有Referer的。

6. Cookie

Cookie 是浏览器在本地存储数据的一种机制。这是网站为了辨别用户进行会话跟踪而存储在用户本地的数据。主要是用来保持本地访问会话。

例如我们访问B站页面并登陆我们的账号此时服务器就会用会话保存登陆信息当我们观看各种鬼畜视频时在该站点访问其他页面就会处于登陆状态这就是 Cookie 的功劳。

4请求体Request Body

请求体一般承载的内容是 POST 请求中的表单数据对于 GET 请求请求体为空。

如下我登录B站时抓取到的请求

输入账号和密码之后点击登录我的账号和密码加密之后就会放在请求体中发送给服务器。查看上张图会发现发送请求中 Content-type 为 application/json 所以发送的请求体格式就为 json。

除此之外Content-type 还可以设为 application/x-www-form-urlencoded这样内容就会以表单数据的形式放在请求体中提交同时 Content-type 也可设为 multipart/from-data 来上传文件。

Content-type	POST 提交数据的方式
application/x-www-form-urlencoded	表单数据
multipart/from-data	表单文件上传
application/json	序列化 json 数据
text/xml	XML 数据

5、HTTP响应Response

响应就是由服务器返回给客户端可以分为三个部分响应状态码、响应头、响应体。

1响应状态码Resqonse Status Code

状态码是一个数组。这个数字描述了当前这次请求的“状态”成功失败失败的原因

例如我们在百度页面访问 123 这个资源不存在服务器就会响应一个404 Not Found。

状态码有很多种主要分为五类1xx、2xx、3xx、4xx、5xx

下面列举出各个分类常见的状态码

1xx信息响应

状态码	说明	详情
100	继续	请求者应当继续提出请求。服务器已收到请求的一部分正在等待其余部分
101	切换协议	请求者已要求服务器切换协议服务器已确认并准备切换

2xx成功响应

状态码	说明	详情
200	成功	服务器已成功处理请求
201	已创建	请求成功并且服务器创建了新的资源
202	已接收	服务器已接收请求但尚未处理
203	非授权信息	服务器已成功处理了请求但返回的信息肯来自另一个源
204	无内容	服务器成功处理了请求但没有返回任何内容
205	重置内容	服务器成功处理了请求内容被重置
206	部分内容	服务器成功处理了部分请求

3xx重定向

状态码	说明	详情
300	多种选择	针对请求服务器可执行多种操作
301	永久移动	请求的网页已永久移动到新位置即永久重定向
302	临时移动	请求的网页暂时跳转到其他页面即暂时重定向
303	查看其他位置	如果原来的请求是POST重定向目标文档应该通过GET提取
304	未修改	此处请求返回的网页未经修改继续使用上次的资源
305	使用代理	请求者应该使用代理访问该页面
307	临时重定向	临时从其他位置响应请求的资源

4xx客户端错误

状态码	说明	详情
400	错误请求	服务器无法解析该请求
401	未授权	请求无法解析该请求
403	禁止访问	服务器拒绝此请求
404	未找到	服务器找不到请求的页面
405	方法禁用	服务器禁用了请求中指定的方法
406	不接收	无法使用请求的内容响应请求的页面
407	需要代理授权	请求者需要使用代理授权
408	请求超时	服务器请求超时
409	冲突	服务器在完成请求时发送的冲突
410	已删除	请求的资源已永久删除
411	需要有效长度	服务器不接收不含有效内容长度标头字段请求
412	未满足前提条件	服务器未满足请求者在请求中设置的某一个前提条件
413	请求实体过大	请求实体过大超出服务器的处理能力
414	请求 URI 过长	请求的网址太长服务器无法处理
415	不支持类型	请求格式不被请求页面支持
416	请求范围不符	页面无法提供请求范围
417	未满足期望值	服务器未满足期望请求标头字段的要求
418	彩蛋	愚人节笑话

5xx服务器错误

状态码	说明	详情
500	服务器内部错误	服务器遇到错误无法完成请求
501	未实现	服务器不具备完成请求的能力
502	错误网关	服务器作为网关或代理接收到上游服务器的无效响应
503	服务不可用	服务器目前无法使用
504	网关超时	服务器作为网关或代理没有及时从上游服务器收到请求
505	HTTP版本不支持	服务器不支持请求中使用 HTTP 协议版本

更多细节请参考官方文档HTTP 状态码 | 菜鸟教程

2响应头Response Headers

响应头包含了服务器对请求的应答信息如 Content-Type、Server、Set-Cookie等。下面简要介绍一些常用的响应头信息

Date 用于表示响应产生的时间。
Last-Modified用于指定资源的最后修改时间。
Content-Encoding用于指定响应内容的编码。
Server包含服务器的信息例如名称、版本号...
Content-Type文档类型指定返回的数据是什么类型也就是响应报文 body 中的数据格式。常见有 text/html 格式为 HTMLtext/css 格式为 CSSapplication/javascript 格式为 Javascriptapplication/json 格式为 JSON。
Set-Cookie设置 Cookie。响应头中 Set-Cookie 用于告诉浏览器需要将次内容放置 Cookie 中下次请求将 Cookie 带上。