暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
首页 / 使用 Openresty(基于Nginx) 来实现 WAF 防火墙功能

使用 Openresty(基于Nginx) 来实现 WAF 防火墙功能

IT那活儿 2023-02-13
2095

点击上方“IT那活儿”公众号，关注后了解更多内容，不管IT什么活儿，干就完了！！！




前 言



OpenResty® 是一个结合了 Nginx 与 Lua 的高性能 Web 平台，其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。OpenResty® 通过汇聚各种设计精良的 Nginx 模块（主要由 OpenResty 团队自主开发），从而将 Nginx 有效地变成一个强大的通用 Web 应用平台。

这样，Web 开发人员和系统工程师可以使用 Lua 脚本语言调动 Nginx 支持的各种 C 以及 Lua 模块，快速构造出足以胜任 10K 乃至 1000K 以上单机并发连接的高性能 Web 应用系统。
OpenResty® 的目标是让你的Web 服务直接跑在 Nginx 服务内部，充分利用 Nginx 的非阻塞 I/O 模型，不仅仅对 HTTP 客户端请求,甚至于对远程后端诸如 MySQL、PostgreSQL、Memcached 以及 Redis 等都进行一致的高性能响应。

  • 实验平台：CentOS Linux release 7.4

  • OpenResty版本：openresty-1.17.8.2



Openresty 部署



1. 安装所需依赖开发组件

$ sudo $ yum -y install gcc-c++ libtool gmake make
$ sudo yum -y install pcre pcre-devel openssl openssl-devel zlib zlib-devel readline readline-devel
  • #pcre-devel：扩展的正则表达式引擎，为了使Nginx处理更复杂的正则表达式机制；
  • #openssl-devel：--with-http_ssl_module使用该模块必需装openssl库，来实现http支持https协议；
  • #zlib-devel：zlib库是网络通信压缩库，ngx_http_gzip_module（gzip压缩模块）所必需的；
  • #readline-devel：readline是安装Openresty所必须的依赖包。
2. 创建 nginx 用户组 nginx 的 Master 主进程以 root 用户身份运行，而 worker 子进程我们指定它为 nginx 用户运行
$ sudo $ groupadd --system nginx
$ sudo useradd --system -g nginx -d usr/local/openresty/ -s sbin/nologin -c "Nginx User" nginx
3. 下载编译并安装Openresty
$ wget https://openresty.org/download/openresty-1.17.8.2.tar.gz
$ tar xf openresty-1.17.8.2.tar.gz
$ cd openresty-1.17.8.2
./configure --prefix=/usr/local/openresty \
--sbin-path=/usr/local/openresty/nginx/sbin/nginx \
--conf-path=/usr/local/openresty/nginx/conf/nginx.conf \
--pid-path=/usr/local/openresty/nginx/run/nginx.pid \
--error-log-path=/usr/local/openresty/nginx/logs/error.log \
--http-log-path=/usr/local/openresty/nginx/logs/access.log \
--user=nginx \
--group=nginx \
--with-pcre \
--with-stream \
--with-threads \
--with-file-aio \
--with-http_v2_module \
--with-http_ssl_module \
--with-http_realip_module \
--with-http_gzip_static_module \
--with-http_stub_status_module
#生成编译文件Markfile
$ gmake && gmake install
#编译安装
4. 为 Openresty 添加环境变量
$ vim /etc/profile.d/openresty.sh
export PATH=/usr/local/openresty/bin:$PATH

$ source /etc/profile
#使环境变量生效，可以使用 openresty 命令，其实就是 nginx。
5. 添加 location 配置确认结合了 Nginx 与 Lua 的 Openresty 部署成功
$ vim usr/local/openresty/nginx/conf/nginx.conf

        location hello {
            default_type text/html;
            content_by_lua_block {
                ngx.say("Hello,linlikesi") #通过调用lua来打印
            }
        }

上面已经实现了 Openresty 的部署，下面将结合 WAF 实现防火墙。




WAF介绍及实现



1. 什么是 WAF

Web应用防护系统（也称为：网站应用级入侵防御系统。英文：Web Application Firewall，简称：WAF）。
利用国际上公认的一种说法：Web应用防火墙是通过执行一系列针对 HTTP/HTTPS 的安全策略来专门为 Web 应用提供保护的一款产品。
2. 实现 WAF 的方式有两种
  • 使用nginx+lua来实现WAF,须在编译nginx的时候配置上lua；
  • 部署OpenResty,不需要在编译nginx的时候指定lua。
这里我们采用的是第二种。
WAF一句话描述，就是解析HTTP请求（协议解析模块），规则检测（规则模块），做不同的防御动作（动作模块），并将防御过程（日志模块）记录下来。所以本文中的WAF的实现由五个模块(配置模块、协议解析模块、规则模块、动作模块、错误处理模块）组成。

3. WAF的功能

  • 支持IP白名单和黑名单功能，直接将黑名单的IP访问拒绝。
  • 支持URL白名单，将不需要过滤的URL进行定义。
  • 支持User-Agent的过滤，匹配自定义规则中的条目，然后进行处理（返回403）。
  • 支持CC攻击防护，单个URL指定时间的访问次数，超过设定值，直接返回403。
  • 支持Cookie过滤，匹配自定义规则中的条目，然后进行处理（返回403）。
  • 支持URL过滤，匹配自定义规则中的条目，如果用户请求的URL包含这些，返回403。
  • 支持URL参数过滤，原理同上。
  • 支持日志记录，将所有拒绝的操作，记录到日志中去。

  • 日志记录为JSON格式，便于日志分析，例如使用ELKStack进行攻击日志收集、存储、搜索和展示。

4. 部署 WAF
WAF已经有人通过lua写出了这个开源的功能，在此直接拿来用即可。
GitHub地址：https://github.com/unixhot/waf
5. 下载 waf 模块
$ git clone https://github.com/unixhot/waf.git
$ cp -rpa ./waf/waf usr/local/openresty/nginx/conf/
6. waf文件介绍
$ ls -l /usr/local/openresty/nginx/conf/waf/

total 24
-rw-r--r-- 1 root root 408 Jul 30 17:11 access.lua
-rw-r--r-- 1 root root 1286 Jul 30 17:38 config.lua
-rw-r--r-- 1 root root 5473 Jul 30 17:11 init.lua
-rw-r--r-- 1 root root 2253 Jul 30 17:11 lib.lua
drwxr-xr-x 2 root root 4096 Jul 30 17:38 rule-config
#access.lua、lib.lua、init.lua都是功能实现的lua代码，如果不具备lua的开发能力，我们一般不会去进行改动。
#config.lua 为各个功能的配置文件 rule-config目录存放了各种防御策略规则 我们需要经常改动config.lua和存储策略的文件。
$ ls -l usr/local/openresty/nginx/conf/waf/rule-config/

total 24
-rw-r--r-- 1 root root 749 Jul 30 17:11 args.rule 
#Cookie策略文件
-rw-r--r-- 1 root root 0 Jul 30 17:30 blackip.rule 
#异常Get参数策略文件
-rw-r--r-- 1 root root 652 Jul 30 17:11 cookie.rule 
#白名单URL策略文件
-rw-r--r-- 1 root root 739 Jul 30 17:11 post.rule 
#IP白名单策略文件
-rw-r--r-- 1 root root 314 Jul 30 17:38 url.rule 
#异常UserAgent策略文件
-rw-r--r-- 1 root root 173 Jul 30 17:11 useragent.rule 
#异常URL策略文件
-rw-r--r-- 1 root root 0 Jul 30 17:30 whiteip.rule 
#异常POST参数策略文件
-rw-r--r-- 1 root root 6 Jul 30 17:11 whiteurl.rule 
#IP黑名单策略文件



验证测试



1. 修改 nginx 配置来引入 WAF 模块

$ vim /usr/local/openresty/nginx/conf/nginx.conf
...
http {
lua_shared_dict limit 10m;
lua_package_path "/usr/local/openresty/nginx/conf/waf/?.lua";
init_by_lua_file "/usr/local/openresty/nginx/conf/waf/init.lua";
access_by_lua_file "/usr/local/openresty/nginx/conf/waf/access.lua";
...
}
2. 重启Openrestyd
上面环境变量操作了可以直接用以下命令：
$ openresty -t
nginx: the configuration file /usr/local/openresty/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/openresty/nginx/conf/nginx.conf test is successful

$ openresty-s reload
如没有操作环境变量：
$ nginx -t
nginx: the configuration file /usr/local/openresty/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/openresty/nginx/conf/nginx.conf test is successful

$ nginx -s reload
3. 查看报错
$ cat /usr/local/openresty/nginx/logs/error.log

2020/07/30 17:18:21 [alert] 62336#62336: failed to load the 'resty.core' module (https://github.com/openresty/lua-resty-core); ensure you are using an OpenResty release from https://openresty.org/en/download.html (reason: module 'resty.core' not found:
no field package.preload['resty.core']
no file '/usr/local/openresty/nginx/conf/waf/resty/core.lua'
no file '/usr/local/openresty/site/lualib/resty/core.so'
no file '/usr/local/openresty/lualib/resty/core.so'
no file './resty/core.so'
no file '/usr/local/lib/lua/5.1/resty/core.so'
no file '/usr/local/openresty/luajit/lib/lua/5.1/resty/core.so'
no file '/usr/local/lib/lua/5.1/loadall.so'
no file '/usr/local/openresty/site/lualib/resty.so'
no file '/usr/local/openresty/lualib/resty.so'
no file './resty.so'
no file '/usr/local/lib/lua/5.1/resty.so'
no file '/usr/local/openresty/luajit/lib/lua/5.1/resty.so'
no file '/usr/local/lib/lua/5.1/loadall.so') in /usr/local/openresty/nginx/conf/nginx.conf:129
#failed to load the 'resty.core' module 加载 resty.core 核心模块失败
4. 解决办法
上面告警是缺少 lua-resty-core 模块，从而找不到这些信息，所以我们要下载 lua-resty-core 模块然后引入到 Openresty：
$ git clone https://github.com/openresty/lua-resty-core.git
$ cp -rpa lua-resty-core/ /usr/local/openresty/nginx/conf
$ vim /usr/local/openresty/nginx/conf/nginx.conf

lua_shared_dict limit 10m;
lua_package_path "/usr/local/openresty/nginx/conf/waf/?.lua;/usr/local/openresty/nginx/conf/lua-resty-core/lib/?.lua;;";
init_by_lua_file "/usr/local/openresty/nginx/conf/waf/init.lua";
access_by_lua_file "/usr/local/openresty/nginx/conf/waf/access.lua";
5. 保存退出重启看日志
$ nginx -t
nginx: the configuration file /usr/local/openresty/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/openresty/nginx/conf/nginx.conf test is successful

$ nginx -s reload

#确保日志无异常后则成功引入WAF模块。




WAF模块配置文件详解及拦截规则



1. waf/config.lua 配置文件中的内容

$ cat /usr/local/openresty/nginx/conf/waf/config.lua
--为行注释，
--[[
这是块注释
--]]

  • config_waf_enable = "on"        --是否启用waf模块，值为 on 或 off

  • config_log_dir = "/tmp"         --waf的日志位置，日志格式默认为json

  • config_rule_dir = "/usr/local/openresty/nginx/conf/waf/rule-config" --策略规则目录位置，可根据情况变动

  • config_white_url_check = "on"   --是否开启URL检测

  • config_white_ip_check = "on"    --是否开启IP白名单检测

  • config_black_ip_check = "on"    --是否开启IP黑名单检测

  • config_url_check = "on"         --是否开启URL过滤

  • config_url_args_check = "on"    --是否开启Get参数过滤

  • config_user_agent_check = "on"  --是否开启UserAgent客户端过滤

  • config_cookie_check = "on"      --是否开启cookie过滤

  • config_cc_check = "on"          --是否开启cc攻击过滤

  • config_cc_rate = "10/60"        --cc攻击的速率/时间，单位为秒；默认示例中为单个IP地址在60秒内访问同一个页面次数超过10次则认为是cc攻击，则自动禁止此IP地址访问此页面60秒，60秒后解封(封禁过程中此IP地址依然可以访问其它页面，如果同一个页面访问次数超过10次依然会被禁止)

  • config_post_check = "on"        --是否开启POST检测

  • config_waf_output = "html"      --对于违反规则的请求则跳转到一个自定义html页面还是指定页面，值为 html 和 redirect

  • config_waf_redirect_url = "https://www.unixhot.com"     --指定违反请求后跳转的指定html页面。

--指定违反规则后跳转的自定义html页面：
config_output_html=[[
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta http-equiv="Content-Language" content="zh-cn" />
<title>网站防火墙</title>
</head>
<body>
<h1 align="center"> 欢迎白帽子进行授权安全测试，安全漏洞请联系QQ：1111111。
</body>
</html>
]]
2. IP黑名单配置
需要在 config.lua 中开启 config_black_ip_check = "on" 参数，默认打开 IP黑名单配置非常简单，这个与 Nginx 的 ngx_http_access_module 模块原理是一致的，只需要把拒绝的地址加入到 waf/rule-config/blackip.rule 文件中即可。
$ vim /usr/local/openresty/nginx/conf/waf/rule-config/blackip.rule
XXX.141.27.177
然后访问Url地址，如下已返回403被禁止。
3. IP白名单配置
需要在 config.lua 中开启 config_white_ip_check = "on" 参数 ，默认打开 IP白名单与IP黑名单相反，添加到IP白名单中的 IP 不受 WAF 限制。
$ vim /usr/local/openresty/nginx/conf/waf/rule-config/whiteip.rule
XXX.141.27.177
4. CC攻击过滤
需要在 config.lua 中开启 config_cc_check = "on" 参数，默认打开。然后指定 config_cc_rate = "10/60" 速率和时间 CC攻击 只需要在 config.lua 配置文件中指定这两个参数即可。
如下指定在 60秒 内对于单个 IP地址 访问单个页面的次数最大 10次 ，超过 10次 则自动拉入 黑名单 ，60秒 后自动解除。
$ vim /usr/local/openresty/nginx/conf/waf/config.lua
config_cc_check = "on"
config_cc_rate = "10/60"
然后进行测试,如下刷新 10次 以后就变为 403（前提你的 IP 不要上面的 IP白名单配置 里）。

换个页面再次刷新，换个页面可以正常访问，不过连续对一个页面 60秒 内刷新 10次 以后将也被拉入黑名单。

注：以上的请求速率和时间只能作为参考，大家线上使用具体还要根据相应环境进行调整。

5. 异常URL策略配置

需要在 config.lua 中开启 config_url_check = "on"参数，默认打开。然后定义 rule-config/url.rule 文件，url.rule文件默认为如下，如果匹配到规则的将跳转到由 config.lua 中 config_waf_output = "html" 参数指定的页面。

  • 禁止URL访问 .htaccess|.bash_history 的文件；
  • 禁止URL访问包含带有phpmyadmin|jmx-console|admin-console|jmxinvokerservlet地址；
  • 禁止URL访问包含 java.lang 的地址。
1）禁止URL访问包含 .svn/ 的地址
$ cat /usr/local/openresty/nginx/conf/waf/rule-config/url.rule
\.(htaccess|bash_history)
\.(bak|inc|old|mdb|sql|backup|java|class|tgz|gz|tar|zip)$
(phpmyadmin|jmx-console|admin-console|jmxinvokerservlet)
java\.lang
\.svn\/
/(attachments|upimg|images|css|uploadfiles|html|uploads|templets|static|template|data|inc|forumdata|upload|includes|cache|avatar)/(\\w+).(php|jsp)
2）假如你不想让别人访问根下的 /login，那么就可以写入到配置中
$ vim /usr/local/openresty/nginx/conf/waf/rule-config/url.rule
\.(htaccess|bash_history)
\.(bak|inc|old|mdb|sql|backup|java|class|tgz|gz|tar|zip)$
(phpmyadmin|jmx-console|admin-console|jmxinvokerservlet)
java\.lang
\.svn\/
/(attachments|upimg|images|css|uploadfiles|html|uploads|templets|static|template|data|inc|forumdata|upload|includes|cache|avatar)/(\\w+).(php|jsp)
/login
然后进行重启后访问,如下就跳转到了我们在 config.lua 中指定的页面，此页面可根据需求进行修改。如果上面默认的 url 规则匹配到了你的地址，那么你就可以把相应配置去掉。

6. 异常 Get 参数策略配置

需要在 config.lua 配置中开启config_url_args_check = "on"参数，默认打开。

默认封锁了如下：
cat /usr/local/openresty/nginx/conf/waf/rule-config/args.rule
\.\./
\:\$
\$\{
select.+(from|limit)
(?:(union(.*?)select))
having|rongjitest
sleep\((\s*)(\d*)(\s*)\)
benchmark\((.*)\,(.*)\)
base64_decode\(
(?:from\W+information_schema\W)
(?:(?:current_)user|database|schema|connection_id)\s*\(
(?:etc\/\W*passwd)
into(\s+)+(?:dump|out)file\s*
group\s+by.+\(
xwork.MethodAccessor
(?:define|eval|file_get_contents|include|require|require_once|shell_exec|phpinfo|system|passthru|preg_\w+|execute|echo|print|print_r|var_dump|(fp)open|alert|showmodaldialog)\(
xwork\.MethodAccessor
(gopher|doc|php|glob|file|phar|zlib|ftp|ldap|dict|ogg|data)\:\/
java\.lang
\$_(GET|post|cookie|files|session|env|phplib|GLOBALS|SERVER)\[
\<(iframe|script|body|img|layer|div|meta|style|base|object|input)
(onmouseover|onerror|onload)\=

我们进行访问 http://192.168.XX.219/hello?aa=select id from mysql ,得到如下，进行匹配：

1）我们也可以根据自己需求去配置，如下最后添加linlikesi
$ vim /usr/local/openresty/nginx/conf/waf/rule-config/args.rule
\.\./
\:\$
\$\{
select.+(from|limit)
(?:(union(.*?)select))
having|rongjitest
sleep\((\s*)(\d*)(\s*)\)
benchmark\((.*)\,(.*)\)
base64_decode\(
(?:from\W+information_schema\W)
(?:(?:current_)user|database|schema|connection_id)\s*\(
(?:etc\/\W*passwd)
into(\s+)+(?:dump|out)file\s*
group\s+by.+\(
xwork.MethodAccessor
(?:define|eval|file_get_contents|include|require|require_once|shell_exec|phpinfo|system|passthru|preg_\w+|execute|echo|print|print_r|var_dump|(fp)open|alert|showmodaldialog)\(
xwork\.MethodAccessor
(gopher|doc|php|glob|file|phar|zlib|ftp|ldap|dict|ogg|data)\:\/
java\.lang
\$_(GET|post|cookie|files|session|env|phplib|GLOBALS|SERVER)\[
\<(iframe|script|body|img|layer|div|meta|style|base|object|input)
(onmouseover|onerror|onload)\=
linlikesi
2）然后我们进行访问 http://192.168.XX.219/hello?aa=linlikesi 也会匹配到规则
$ curl http://XXX.45.98.92//hello?aa=linlikesi
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta http-equiv="Content-Language" content="zh-cn" />
<title>OpsAny｜Web应用防火墙</title>
</head>
<body>
<h1 align="center"> 欢迎白帽子进行授权安全测试，安全漏洞请联系: mylinux@kjarbo.com
</body>
</html>

7. 异常POST参数策略配置
需要在 config.lua 中开启 config_post_check = "on" 选项，默认打开。
默认 POST 请求封禁如下，POST 封禁内容与 GET 相似。
$ cat /usr/local/openresty/nginx/conf/waf/rule-config/post.rule
\.\./
select.+(from|limit)
(?:(union(.*?)select))
having|rongjitest
sleep\((\s*)(\d*)(\s*)\)
benchmark\((.*)\,(.*)\)
base64_decode\(
(?:from\W+information_schema\W)
(?:(?:current_)user|database|schema|connection_id)\s*\(
(?:etc\/\W*passwd)
into(\s+)+(?:dump|out)file\s*
group\s+by.+\(
xwork.MethodAccessor
(?:define|eval|file_get_contents|include|require|require_once|shell_exec|phpinfo|system|passthru|preg_\w+|execute|echo|print|print_r|var_dump|(fp)open|alert|showmodaldialog)\(
xwork\.MethodAccessor
(gopher|doc|php|glob|file|phar|zlib|ftp|ldap|dict|ogg|data)\:\/
java\.lang
\$_(GET|post|cookie|files|session|env|phplib|GLOBALS|SERVER)\[
\<(iframe|script|body|img|layer|div|meta|style|base|object|input)
(onmouseover|onerror|onload)\=
1）直接对 POST 策略进行提交请求，通过 curl -XPOST 来进行提交 POST 请求
$ curl -XPOST http://103.45.98.92/hello?aa=select id from mysql'
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta http-equiv="Content-Language" content="zh-cn" />
<title>OpsAny｜Web应用防火墙</title>
</head>
<body>
<h1 align="center"> 欢迎白帽子进行授权安全测试，安全漏洞请联系: mylinux@kjarbo.com
2）如上命中规则，我们查看 Openrestry 日志，查看是否为 POST 请求
$ tail -1f /usr/local/openresty/nginx/logs/access.log
103.45.98.92 - - [27/Jul/2020:18:21:32 +0800] "POST /hello?aa=select id from mysql HTTP/1.1" 403 313 "-" "curl/7.29.0" tml>


END


本文作者：IT那活儿(上海新炬中北团队）

本文来源：“IT那活儿”公众号

wafnginxopenrestynginx模块开发编程语言
文章转载自IT那活儿，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

评论