服务器之家:专注于服务器技术及软件下载分享
分类导航

云服务器|WEB服务器|FTP服务器|邮件服务器|虚拟服务器|服务器安全|DNS服务器|服务器其它|

使用Nginx作为HTTPS正向代理服务器

2019-07-11 12:34今日头条阿里云云栖社区 服务器其它

正向代理本身并不复杂,而如何代理加密的HTTPS流量是正向代理需要解决的主要问题。本文将介绍利用NGINX来正向代理HTTPS流量两种方案,及其使用场景和主要问题。

NGINX主要设计作为反向代理服务器,但随着NGINX的发展,它同样能作为正向代理的选项之一。正向代理本身并不复杂,而如何代理加密的HTTPS流量是正向代理需要解决的主要问题。本文将介绍利用NGINX来正向代理HTTPS流量两种方案,及其使用场景和主要问题。

HTTP/HTTPS正向代理的分类

简单介绍下正向代理的分类作为理解下文的背景知识:

按客户端有无感知的分类

普通代理:在客户端需要在浏览器中或者系统环境变量手动设置代理的地址和端口。如squid,在客户端指定squid服务器IP和端口3128。

透明代理:客户端不需要做任何代理设置,“代理”这个角色对于客户端是透明的。如企业网络链路中的Web Gateway设备。

按代理是否解密HTTPS的分类

隧道代理 :也就是透传代理。代理服务器只是在TCP协议上透传HTTPS流量,对于其代理的流量的具体内容不解密不感知。客户端和其访问的目的服务器做直接TLS/SSL交互。本文中讨论的NGINX代理方式属于这种模式。

中间人(MITM, Man-in-the-Middle)代理:代理服务器解密HTTPS流量,对客户端利用自签名证书完成TLS/SSL握手,对目的服务器端完成正常TLS交互。在客户端-代理-服务器的链路中建立两段TLS/SSL会话。如Charles,简单原理描述可以参考文章。

https://www.jianshu.com/p/405f9d76f8c4

注:这种情况客户端在TLS握手阶段实际上是拿到的代理服务器自己的自签名证书,证书链的验证默认不成功,需要在客户端信任代理自签证书的Root CA证书。所以过程中是客户端有感的。如果要做成无感的透明代理,需要向客户端推送自建的Root CA证书,在企业内部环境下是可实现的。

使用Nginx作为HTTPS正向代理服务器

为什么正向代理处理HTTPS流量需要特殊处理?

作为反向代理时,代理服务器通常终结 (terminate) HTTPS加密流量,再转发给后端实例。HTTPS流量的加解密和认证过程发生在客户端和反向代理服务器之间。

而作为正向代理在处理客户端发过来的流量时,HTTP加密封装在了TLS/SSL中,代理服务器无法看到客户端请求URL中想要访问的域名,如下图。所以代理HTTPS流量,相比于HTTP,需要做一些特殊处理。

使用Nginx作为HTTPS正向代理服务器

NGINX的解决方案

根据前文中的分类方式,NGINX解决HTTPS代理的方式都属于透传(隧道)模式,即不解密不感知上层流量。具体的方式有如下7层和4层的两类解决方案。

HTTP CONNECT隧道 (7层解决方案)

历史背景

早在1998年,也就是TLS还没有正式诞生的SSL时代,主导SSL协议的Netscape公司就提出了关于利用web代理来tunneling SSL流量的INTERNET-DRAFT。其核心思想就是利用HTTP CONNECT请求在客户端和代理之间建立一个HTTP CONNECT Tunnel,在CONNECT请求中需要指定客户端需要访问的目的主机和端口。Draft中的原图如下:

使用Nginx作为HTTPS正向代理服务器

整个过程可以参考HTTP权威指南中的图:

客户端给代理服务器发送HTTP CONNECT请求。

代理服务器利用HTTP CONNECT请求中的主机和端口与目的服务器建立TCP连接。

代理服务器给客户端返回HTTP 200响应。

客户端和代理服务器建立起HTTP CONNECT隧道,HTTPS流量到达代理服务器后,直接通过TCP透传给远端目的服务器。代理服务器的角色是透传HTTPS流量,并不需要解密HTTPS。

使用Nginx作为HTTPS正向代理服务器

NGINX ngx_http_proxy_connect_module模块

NGINX作为反向代理服务器,官方一直没有支持HTTP CONNECT方法。但是基于NGINX的模块化、可扩展性好的特性,阿里的@chobits提供了ngx_http_proxy_connect_module模块,来支持HTTP CONNECT方法,从而让NGINX可以扩展为正向代理。

环境搭建

以CentOS 7的环境为例。

1) 安装

对于新安装的环境,参考正常的安装步骤和安装这个模块的步骤(https://github.com/chobits/ngx_http_proxy_connect_module),把对应版本的patch打上之后,在configure的时候加上参数--add-module=/path/to/ngx_http_proxy_connect_module,示例如下:

./configure

--user=www

--group=www

--prefix=/usr/local/nginx

--with-http_ssl_module

--with-http_stub_status_module

--with-http_realip_module

--with-threads

--add-module=/root/src/ngx_http_proxy_connect_module

对于已经安装编译安装完的环境,需要加入以上模块,步骤如下:

#停止NGINX服务

#systemctlstopnginx

#备份原执行文件

#cp/usr/local/nginx/sbin/nginx/usr/local/nginx/sbin/nginx.bak

#在源代码路径重新编译

#cd/usr/local/src/nginx-1.16.0

./configure

--user=www

--group=www

--prefix=/usr/local/nginx

--with-http_ssl_module

--with-http_stub_status_module

--with-http_realip_module

--with-threads

--add-module=/root/src/ngx_http_proxy_connect_module

#make

#不要makeinstall

#将新生成的可执行文件拷贝覆盖原来的nginx执行文件

#cpobjs/nginx/usr/local/nginx/sbin/nginx

#/usr/bin/nginx-V

nginxversion:nginx/1.16.0

builtbygcc4.8.520150623(RedHat4.8.5-36)(GCC)

builtwithOpenSSL1.0.2k-fips26Jan2017

TLSSNIsupportenabled

configurearguments:--user=www--group=www--prefix=/usr/local/nginx--with-http_ssl_module--with-http_stub_status_module--with-http_realip_module--with-threads--add-module=/root/src/ngx_http_proxy_connect_module

2) nginx.conf文件配置

server{

listen443;

#dnsresolverusedbyforwardproxying

resolver114.114.114.114;

#forwardproxyforCONNECTrequest

proxy_connect;

proxy_connect_allow443;

proxy_connect_connect_timeout10s;

proxy_connect_read_timeout10s;

proxy_connect_send_timeout10s;

#forwardproxyfornon-CONNECTrequest

location/{

proxy_passhttp://$host;

proxy_set_headerHost$host;

}

}

使用场景

7层需要通过HTTP CONNECT来建立隧道,属于客户端有感知的普通代理方式,需要在客户端手动配置HTTP(S)代理服务器IP和端口。在客户端用curl 加-x参数访问如下:

#curlhttps://www.baidu.com-svo/dev/null-x39.105.196.164:443

*Abouttoconnect()toproxy39.105.196.164port443(#0)

*Trying39.105.196.164...

*Connectedto39.105.196.164(39.105.196.164)port443(#0)

*EstablishHTTPproxytunneltowww.baidu.com:443

>CONNECTwww.baidu.com:443HTTP/1.1

>Host:www.baidu.com:443

>User-Agent:curl/7.29.0

>Proxy-Connection:Keep-Alive

>

<

*ProxyrepliedOKtoCONNECTrequest

*InitializingNSSwithcertpath:sql:/etc/pki/nssdb

*CAfile:/etc/pki/tls/certs/ca-bundle.crt

CApath:none

*SSLconnectionusingTLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256

*Servercertificate:

*subject:CN=baidu.com,O="BeijingBaiduNetcomScienceTechnologyCo.,Ltd",OU=serviceoperationdepartment,L=beijing,ST=beijing,C=CN

...

>GET/HTTP/1.1

>User-Agent:curl/7.29.0

>Host:www.baidu.com

>Accept:*/*

>

...

{[datanotshown]

从上面-v参数打印出的细节,可以看到客户端先往代理服务器39.105.196.164建立了HTTP CONNECT隧道,代理回复HTTP/1.1 200 Connection Established后就开始交互TLS/SSL握手和流量了。

NGINX stream (4层解决方案)

既然是使用透传上层流量的方法,那可不可做成“4层代理”,对TCP/UDP以上的协议实现彻底的透传呢?答案是可以的。NGINX官方从1.9.0版本开始支持ngx_stream_core_module模块,模块默认不build,需要configure时加上--with-stream选项来开启。

问题

用NGINX stream在TCP层面上代理HTTPS流量肯定会遇到本文一开始提到的那个问题:代理服务器无法获取客户端想要访问的目的域名。因为在TCP的层面获取的信息仅限于IP和端口层面,没有任何机会拿到域名信息。要拿到目的域名,必须要有拆上层报文获取域名信息的能力,所以NGINX stream的方式不是完全严格意义上的4层代理,还是要略微借助些上层能力。

ngx_stream_ssl_preread_module模块

要在不解密的情况下拿到HTTPS流量访问的域名,只有利用TLS/SSL握手的第一个Client Hello报文中的扩展地址SNI (Server Name Indication)来获取。NGINX官方从1.11.5版本开始支持利用ngx_stream_ssl_preread_module模块来获得这个能力,模块主要用于获取Client Hello报文中的SNI和ALPN信息。对于4层正向代理来说,从Client Hello报文中提取SNI的能力是至关重要的,否则NGINX stream的解决方案无法成立。同时这也带来了一个限制,要求所有客户端都需要在TLS/SSL握手中带上SNI字段,否则NGINX stream代理完全没办法知道客户端需要访问的目的域名。

环境搭建

1) 安装

对于新安装的环境,参考正常的安装步骤,直接在configure的时候加上--with-stream,--with-stream_ssl_preread_module和--with-stream_ssl_module选项即可。示例如下:

./configure

--user=www

--group=www

--prefix=/usr/local/nginx

--with-http_ssl_module

--with-http_stub_status_module

--with-http_realip_module

--with-threads

--with-stream

--with-stream_ssl_preread_module

--with-stream_ssl_module

对于已经安装编译安装完的环境,需要加入以上3个与stream相关的模块,步骤如下:

#停止NGINX服务

#systemctlstopnginx

#备份原执行文件

#cp/usr/local/nginx/sbin/nginx/usr/local/nginx/sbin/nginx.bak

#在源代码路径重新编译

#cd/usr/local/src/nginx-1.16.0

#./configure

--user=www

--group=www

--prefix=/usr/local/nginx

--with-http_ssl_module

--with-http_stub_status_module

--with-http_realip_module

--with-threads

--with-stream

--with-stream_ssl_preread_module

--with-stream_ssl_module

#make

#不要makeinstall

#将新生成的可执行文件拷贝覆盖原来的nginx执行文件

#cpobjs/nginx/usr/local/nginx/sbin/nginx

#nginx-V

nginxversion:nginx/1.16.0

builtbygcc4.8.520150623(RedHat4.8.5-36)(GCC)

builtwithOpenSSL1.0.2k-fips26Jan2017

TLSSNIsupportenabled

configurearguments:--user=www--group=www--prefix=/usr/local/nginx--with-http_ssl_module--with-http_stub_status_module--with-http_realip_module--with-threads--with-stream--with-stream_ssl_preread_module--with-stream_ssl_module

2) nginx.conf文件配置

NGINX stream与HTTP不同,需要在stream块中进行配置,但是指令参数与HTTP块都是类似的,主要配置部分如下:

stream{

resolver114.114.114.114;

server{

listen443;

ssl_prereadon;

proxy_connect_timeout5s;

proxy_pass$ssl_preread_server_name:$server_port;

}

}

使用场景

对于4层正向代理,NGINX对上层流量基本上是透传,也不需要HTTP CONNECT来建立隧道。适合于透明代理的模式,比如将访问的域名利用DNS解定向到代理服务器。我们可以通过在客户端绑定/etc/hosts来模拟。

在客户端:

cat/etc/hosts

...

#把域名www.baidu.com绑定到正向代理服务器39.105.196.164

39.105.196.164www.baidu.com

#正常利用curl来访问www.baidu.com即可。

#curlhttps://www.baidu.com-svo/dev/null

*Abouttoconnect()towww.baidu.comport443(#0)

*Trying39.105.196.164...

*Connectedtowww.baidu.com(39.105.196.164)port443(#0)

*InitializingNSSwithcertpath:sql:/etc/pki/nssdb

*CAfile:/etc/pki/tls/certs/ca-bundle.crt

CApath:none

*SSLconnectionusingTLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256

*Servercertificate:

*subject:CN=baidu.com,O="BeijingBaiduNetcomScienceTechnologyCo.,Ltd",OU=serviceoperationdepartment,L=beijing,ST=beijing,C=CN

*startdate:5月0901:22:022019GMT

*expiredate:6月2505:31:022020GMT

*commonname:baidu.com

*issuer:CN=GlobalSignOrganizationValidationCA-SHA256-G2,O=GlobalSignnv-sa,C=BE

>GET/HTTP/1.1

>User-Agent:curl/7.29.0

>Host:www.baidu.com

>Accept:*/*

>

<

{[datanotshown]

*Connection#0tohostwww.baidu.comleftintact

常见问题

1) 客户端手动设置代理导致访问不成功

4层正向代理是透传上层HTTPS流量,不需要HTTP CONNECT来建立隧道,也就是说不需要客户端设置HTTP(S)代理。如果我们在客户端手动设置HTTP(s)代理是否能访问成功呢? 我们可以用curl -x来设置代理为这个正向服务器访问测试,看看结果:

#curlhttps://www.baidu.com-svo/dev/null-x39.105.196.164:443

*Abouttoconnect()toproxy39.105.196.164port443(#0)

*Trying39.105.196.164...

*Connectedto39.105.196.164(39.105.196.164)port443(#0)

*EstablishHTTPproxytunneltowww.baidu.com:443

>CONNECTwww.baidu.com:443HTTP/1.1

>Host:www.baidu.com:443

>User-Agent:curl/7.29.0

>Proxy-Connection:Keep-Alive

>

*ProxyCONNECTaborted

*Connection#0tohost39.105.196.164leftintact

可以看到客户端试图于正向NGINX前建立HTTP CONNECT tunnel,但是由于NGINX是透传,所以把CONNECT请求直接转发给了目的服务器。目的服务器不接受CONNECT方法,所以最终出现"Proxy CONNECT aborted",导致访问不成功。

2) 客户端没有带SNI导致访问不成功

上文提到用NGINX stream做正向代理的关键因素之一是利用ngx_stream_ssl_preread_module提取出Client Hello中的SNI字段。如果客户端客户端不携带SNI字段,会造成代理服务器无法获知目的域名的情况,导致访问不成功。

在透明代理模式下(用手动绑定hosts的方式模拟),我们可以在客户端用openssl来模拟:

#openssls_client-connectwww.baidu.com:443-msg

CONNECTED(00000003)

>>>TLS1.2[length0005]

160301011c

>>>TLS1.2Handshake[length011c],ClientHello

0100011803036b2e7586526cd5a580d7

a461656d725333fb33f043a3aac24ae3

47849f698bd60000acc030c02cc028c0

24c014c00a00a500a300a1009f006b00

6a006900680039003800370036008800

8700860085c032c02ec02ac026c00fc0

05009d003d00350084c02fc02bc027c0

23c013c00900a400a200a0009e006700

40003f003e0033003200310030009a00

99009800970045004400430042c031c0

2dc029c025c00ec004009c003c002f00

960041c012c008001600130010000dc0

0dc003000a0007c011c007c00cc00200

05000400ff01000043000b0004030001

02000a000a0008001700190018001600

230000000d0020001e06010602060305

01050205030401040204030301030203

03020102020203000f000101

140285606590352:error:140790E5:SSLroutines:ssl23_write:sslhandshakefailure:s23_lib.c:177:

---

nopeercertificateavailable

---

NoclientcertificateCAnamessent

---

SSLhandshakehasread0bytesandwritten289bytes

...

openssl s_client默认不带SNI,可以看到上面的请求在TLS/SSL握手阶段,发出Client Hello后就结束了。因为代理服务器不知道要把Client Hello往哪个目的域名转发。

如果用openssl带servername参数来指定SNI,则可以正常访问成功,命令如下:

#openssls_client-connectwww.baidu.com:443-servernamewww.baidu.com

总结

本文总结了NGINX利用HTTP CONNECT隧道和NGINX stream两种方式做HTTPS正向代理的原理,环境搭建,使用场景和主要问题,希望给大家在做各种场景的正向代理时提供参考。

作者:怀知

延伸 · 阅读

精彩推荐
  • 服务器其它无服务计算就不需要服务器吗?

    无服务计算就不需要服务器吗?

    在云计算基础架构即服务(IaaS)中,你不需要管理你的物理基础架构;而在云计算的无服务计算中,你甚至不需要管理任何虚拟机、操作系统或者容器。...

    Mike Matchett1722019-05-22
  • 服务器其它国内常用NTP服务器地址及IP(阿里云时间服务器)

    国内常用NTP服务器地址及IP(阿里云时间服务器)

    命令 ntpdate-sntp1.aliyun.com 下面的好多都失效了,向阿里看齐这几个应该都是好使的,更新一下 ntp1.aliyun.com ntp2.aliyun.com ntp3.aliyun.com ntp4.aliyun.com ntp5.aliyun.com ntp6.aliyun.com ntp7.aliyun.com 210.72.145.44(国家授时中心服务器IP地址) 133.100.11.8日本...

    CSDN3342019-05-22
  • 服务器其它云服务器的“弹性”体现在哪些方面?

    云服务器的“弹性”体现在哪些方面?

    我们都知道云计算拥有弹性扩展的特性,所谓的弹性,即云端的可用资源能够随着用户的需求而灵活变化、自由升降,在业务高峰或低谷期,均能匹配适量的资源,既不捉襟见肘、也不过分浪费。弹性云服务器,简单地说,是指运...

    北国网1872019-05-15
  • 服务器其它Cisco刀片服务器产品深度解析

    Cisco刀片服务器产品深度解析

    随着云计算的发展,新的数据中心建设和计算平台的架构发生了显著的变化。业界的厂商纷纷在推出融合架构和集成系统。过去,存储、计算与网络都是互相割裂的产品,但是,在新的虚拟化技术中,他们变成了底层的资源,可以...

    网络4822019-06-15
  • 服务器其它服务器反爬虫攻略:Apache/Nginx/PHP禁止某些User Agent抓取网站

    服务器反爬虫攻略:Apache/Nginx/PHP禁止某些User Agent抓取网站

    以下是服务器反爬虫攻略:Apache/Nginx/PHP禁止某些User Agent抓取网站,希望对大家有所帮助。 ...

    bcoder4322019-05-27
  • 服务器其它Putty如何显示中文

    Putty如何显示中文

    PuTTY 是一个Telnet、SSH、rlogin、纯TCP以及串行接口连接软件。在各种远程登录工具中, Putty 是出色的工具之一。Putty是一个免费的,且功能丝毫不逊色于商业的Telnet类工具。putty在进行 中文 显示时,会出现乱码,这就需要进行相应的...

    百度经验1602019-05-18
  • 服务器其它教你区分独立服务器与VPS主机的6种方法

    教你区分独立服务器与VPS主机的6种方法

    作为站长,虽然我们已经知道独立服务器和VPS主机是两种类型的主机,但如果服务商给你展示一个服务器的运营情况,或者购买的主机,如何知道是独立服务器还是VPS主机呢?其实很多网友都会有这样的疑虑,服务器提供商-BlueHos...

    互联网822019-05-19
  • 服务器其它采用分段排查法诊断服务器性能

    采用分段排查法诊断服务器性能

    在日常性能测试中,我们需要掌握一些常用的策略以及有必要了解和掌握查看服务器性能的命令,来排查诊断服务器性能。...

    51cto2122019-05-31