需求背景
需求是使用 nginx 做一个 https 服务的代理
nginx 收到 http 请求后,需要修改 body 中的某些参数值,然后将修改后的数据发送到目标服务器(https)
本来以为很简单的需求,结果中间出现了不少岔子,这里记录一下
知识点汇总
location = xxx {}
是精确匹配,location xxx {}
是前缀匹配。- 用 lua 脚本处理请求时,如果脚本找不到,客户端看到的是 404 not found,和路由配置错了一个样。
- lua-resty-http 模块管理员权限直接安装就行(不需要和 nginx 一起编译)。
- httpc:request_uri 请求时,必要的配置是
resolver
(做 dns 解析);https 请求时,加上 ssl_verify = false 可以避免 https 证书带来的问题(python requests 包也有这个参数,但是不推荐使用,不安全)。 - 像这种靠近底层的工具如果修改了 http 请求的 body 时,一定要关注是否已经设置过
Content-Length
这个 header 了,可以去掉或者重新设置。否则可能造成的问题是 数据异常截断 或者 莫名奇妙的等待。
详细问题
问题1:配置了 location
但是显示 404
代码如下
location = /aigw {content_by_lua_file conf/lua/aigw.lua;
}
这个代码先后改了两次,实际有两个原因客户端都会显示 404
location =
是精确匹配,请求有后缀就找不到了- 如果 conf/lua/aigw.lua 文件找不到,也不会提示内部错误信息,客户端看到的也是 404 问题
问题 2:module 'resty.http' not found:
使用如下命令安装,注意必须是 sudo 权限下,否则不行
sudo apt-get update
sudo apt-get install -y luarocks
sudo luarocks install lua-resty-http
问题 3:no resolver defined to resolve "xxxxx"
问题代码如下,这个错误是下面 err 的值
local res, err = httpc:request_uri(forwardUrl, {
...
})
解决方案:这个错误表明 NGINX 没有配置 DNS 解析器来解析 xxxxx 域名。你需要在 NGINX 配置文件中添加一个 resolver 指令来指定 DNS 服务器。
在 nginx.conf 文件的 http 或 server 块中添加以下内容:
http {resolver 8.8.8.8 8.8.4.4 valid=300s;resolver_timeout 5s;# 其他配置...
}
8.8.8.8 和 8.8.4.4 是 Google 的公共 DNS 服务器,你也可以使用其他 DNS 服务器。
添加后,重新加载 NGINX 配置:
sudo nginx -s reload
问题 4:unable to get local issuer certificate
这也是发送请求时的错误信息。
这个错误表明 NGINX 无法验证目标 HTTPS 服务器的 SSL 证书。下面是两种解决方案,我才用了第一种
-
忽略 SSL 证书验证(不推荐用于生产环境): 在 httpc:request_uri 调用中添加 ssl_verify = false 参数。
local res, err = httpc:request_uri(forwardUrl, {method = ngx.req.get_method(),body = body_data,headers = ngx.req.get_headers(),ssl_verify = false -- 这里是新增加的参数 })
-
指定 CA 证书: 下载并指定一个可信的 CA 证书文件。(我没试过)
首先,下载 CA 证书文件(例如 ca-certificates.crt),然后在 httpc:request_uri 调用中指定 ssl_ca_cert 参数。local res, err = httpc:request_uri(forwardUrl, {method = ngx.req.get_method(),body = body_data,headers = ngx.req.get_headers(),ssl_ca_cert = "/path/to/ca-certificates.crt" })
问题 5:修改请求 body 值之后,请求就卡住了
代码依旧是这个代码
local res, err = httpc:request_uri(forwardUrl, {method = ngx.req.get_method(),body = body_data,headers = ngx.req.get_headers(),ssl_verify = false
})
当我把 body_data 转为 json,修改其中的值,又转为字符串之后,这个网络请求就莫名奇妙的卡住了。
废了很大的力气查了很多资料也没有结果。自己调试打印了两组数据,对比了数据类型,还是没找到原因。
最后我打印了 ngx.req.get_method()
发现其中有一个头信息是
content-length: 216
猛然想到:因为我把 body 改小了,但是 content-length
值很大,这个 client 就会一直等着剩余的数据传输,所以就会一直卡着不动了。
修改方案是:
local new_headers = ngx.req.get_headers()
-- 删除 Content-Length 头,否则会导致 http client 卡住
new_headers["Content-Length"] = nil
new_headers["content-length"] = nillocal res, err = httpc:request_uri(forwardUrl, {method = ngx.req.get_method(),body = new_body,headers = new_headers,ssl_verify = false
})
问题 6:最终返回给客户端的数据是截断的
问题代码如下
-- res 是 httpc:request_uri 的返回值
ngx.status = res.status
for k, v in pairs(res.headers) doif k ~= "Transfer-Encoding" thenngx.header[k] = vend
end-- 将 body 中的 model 替换回去
local ok, res_body_json = pcall(cjson.decode, res.body)
if not ok thenngx.log(ngx.ERR, "Failed to decode JSON: ", res.body)ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)
endres_body_json.model = model_prefix .. model_suffix
local new_res_body = cjson.encode(res_body_json)ngx.print(new_res_body)
ngx.exit(ngx.HTTP_OK)
上面的代码返回的 json 数据,一直只有一部分。
这个答案也很简单,和之前卡住的问题一样,因为我修改了返回的 body 值,而 ngx
在最开始逐一设置了 res
的 header
值,显然又把 Content-Length
带进去了。加上这么两句以后,问题解决:
ngx.header["Content-Length"] = #new_res_body
ngx.header["content-length"] = #new_res_body