HTTP URL/深度关键词检测

一项持续时间比张某还长的遗留研究。下面是它的开发研究简介，细节很多，非研究者可以略去不看。

西厢计划

2008年7月tek4小组建立：

作为个搞技术的人，我们要干点疯狂的事。如果我们不动手，我们就要被比我们差的远的坏技术人员欺负。这太丢人了。眼前就是，GFW这个东西，之前是我们不抱团，让它猖狂了。现在咱们得凑一起，想出来一个办法让它郁闷一下，不能老被欺负吧。要不，等到未来，后代会嘲笑我们这些没用的家伙，就象我们说别人“你怎么不反抗？”

之后一个月几篇显著的文章出现：译言的《如何忽略防火长城》，周曙光的《Zola教你玩：如何对抗GFW的域名劫持》，Robert Mao的《关于墙的技术讨论》 ，预言“射击墙的理论已经几乎要进入实战”。

之后tek4小组又参与了绿坝娘推倒作战，提供几份重要文档的来源。再之后GFW的实体被匿名网民进一步揭露，方滨兴浮出水面。

时至今日，经过大家的努力，GFW的实体、结构、工作方式、弱点已经全部暴露在阳光之下，穿墙方法和DDoS规划方法也已经成熟。我们作为已经解散的tek4小组的一个分支，研究实际上在很早之前就已经结束，在花费大量时间编写文档、整理文献和验证实验数据之后，终于到了展示实战方法的时候，当初人们提出的设想也在这里得到了令人满意的答复。在这一部分完成之后我们也将解散。

这就是：西厢计划。

深入理解GFW：内部结构

更新：本文中的图像链接因为Google Docs改版失效已修复。Update: fixed some broken image links included here.

之前我们对GFW进行了大量的黑箱测试，尽管大多数实验数据都得到了良好的解释，但是还是有些数据或者体现出的规律性（不规律性）没有得到合理的解释。比如TCP连接的各项超时时间，比如Google的443端口被无状态阻断时，继发状态的持续跟源IP相关的问题。比如一般TCP连接的继发阻断时，窗口尺寸和TTL的连续变化特性。这些问题已经超出纯协议的范畴，需要对GFW的内部结构进行进一步了解才能明白其原因。所以在这一章介绍GFW的实现和内部结构。
总的来说，GFW是一个建立在高性能计算集群上规模庞大的分布式入侵检测系统。其分布式架构带来了很高的可伸缩性，对骨干网一点上庞大流量的处理问题被成功转换成购买超级计算机堆砌处理能力的问题。它目前有能力对中国大陆全部国际网络流量进行复杂和深度的检测，而且处理能力“还有很大潜力”（2009年8月）^[null]。

深入理解GFW：DNS污染

初识DNS污染

翻墙新手们往往遇到这样的问题：我明明已经设置了socks代理为127.0.0.1:xxxx，为什么还是上不去youtube？这时经验丰富的翻墙高手就会告诉你：firefox需要设置network.proxy.socks_remote_dns为true，也就是远程解析域名。这是怎样一回事呢？为什么要远程解析？这就涉及到了GFW的DNS污染技术。

DNS（Domain Name System）污染是GFW的一种让一般用户由于得到虚假目标主机IP而不能与其通信的方法，是一种DNS缓存投毒攻击（DNS cache poisoning）。其工作方式是：对经过GFW的在UDP端口53上的DNS查询进行入侵检测，一经发现与关键词相匹配的请求则立即伪装成目标域名的解析服务器（NS，Name Server）给查询者返回虚假结果。由于通常的DNS查询没有任何认证机制，而且DNS查询通常基于的UDP是无连接不可靠的协议，查询者只能接受最先到达的格式正确结果，并丢弃之后的结果。对于不了解相关知识的网民来说也就是，由于系统默认使用的ISP提供的NS查询国外的权威服务器时被劫持，其缓存受到污染，因而默认情况下查询ISP的服务器就会获得虚假IP；而用户直接查询境外NS（比如OpenDNS）又可能被GFW劫持，从而在没有防范机制的情况下仍然不能获得正确IP。然而对这种攻击有着十分简单有效的应对方法：修改Hosts文件。但是Hosts文件的条目一般不能使用通配符（例如*.blogspot.com），而GFW的DNS污染对域名匹配进行的是部分匹配不是精确匹配，因此Hosts文件也有一定的局限性，网民试图访问这类域名仍会遇到很大麻烦。

GFW研究与诊断工具

在开始所有对GFW的细致研究之前，要先给大家介绍一下我们研究所需要的主要工具和典型方法。读者也可以留言推荐自己喜欢的工具。

一览：

• 监听和扫描：wireshark，tcpdump，nmap
• 应用层：nc，wget，curl，w3m
• 编程接口：libpcap/winpcap，libnids，libnet/raw sockets，snort，libnetfilter*(libipq)/divert sockets

深入理解GFW：路由扩散技术

GFW的重要工作方式之一是在网络层的针对IP的封锁。事实上，GFW采用的是一种比传统的访问控制列表（Access Control List，ACL）高效得多的控制访问方式——路由扩散技术。分析这种新的技术之前先看看传统的技术，并介绍几个概念。

访问控制列表（ACL）

ACL可以工作在网络的二层（链路层）或是三层（网络层），以工作在三层的ACL为例，基本原理如下：想在某个路由器上用ACL控制（比如说是切断）对某个IP地址的访问，那么只要把这个IP地址通过配置加入到ACL中，并且针对这个IP地址规定一个控制动作，比如说最简单的丢弃。当有报文经过这个路由器的时候，在转发报文之前首先对ACL进行匹配，若这个报文的目的IP地址存在于ACL中，那么根据之前ACL中针对该IP地址定义的控制动作进行操作，比如丢弃掉这个报文。这样通过ACL就可以切断对于这个IP的访问。ACL同样也可以针对报文的源地址进行控制。如果ACL工作在二层的话，那么ACL控制的对象就从三层的IP地址变成二层的MAC地址。从ACL的工作原理可以看出来，ACL是在正常报文转发的流程中插入了一个匹配ACL的操作，这肯定会影响到报文转发的效率，如果需要控制的IP地址比较多，则ACL列表会更长，匹配ACL的时间也更长，那么报文的转发效率会更低，这对于一些骨干路由器来讲是不可忍受的。

路由协议与路由重分发

而GFW的网络管控方法是利用了OSPF等路由协议的路由重分发（redistribution）功能，可以说是“歪用”了这个本来是正常的功能。

GFW钓鱼计划

社会工程从来都是在安全领域最有趣味的话题。钓鱼（phishing）是社会工程的一种。最近韩寒童鞋揭露了出现在上海的某种钓鱼小把戏，我们也不妨来讨论一下某种GFW钓鱼小把戏。面对GFW这个黑箱，我们希望对它的内部的行政机制有所了解，这当然是技术性的逆向工程无法解决的问题，所以这里主要讨论社会工程的方法。

原理

对GFW进行黑箱式分析，就会发现一种非常确定的刺激-反应的行为模式。一般来说是这样的过程：1）一个网站处于含有敏感内容的状态；2）在某个时刻GFW感知到这个网站（“先期侦察”）并受到刺激；3）然后通过GFW内部的某种过程；4）最后形成对这个网站的封锁反应。一般只有最后的封锁反应是公开可观测的GFW特征，然而由于GFW的封锁采取伪造的方式进行，我们很难从这种封锁动作中获得信息。而如果我们特制一个网站并作为网站控制者让GFW对它进行感知，并利用GFW自认为置身暗处而不采取防护的漏洞，那么在刺激这个环节就很有可能观测到GFW的真实信息。简而言之GFW你不是特别会封吗？这次我造一个网站让你封，来啊。然后将GFW在这个环节泄漏的信息全部记录下来。这就是钓鱼，有人也把这个叫做蜜罐，在蜜罐里放一些GFW特别喜欢的东西，苍蝇循着香味飞进来就黏住了。根据先验知识我们还可以知道，在对目标进行侦察之后，GFW内部还会有关于反应方式的评估。这个过程虽然是无法观测的，不过当蜜罐收集到的数据量比较充分之后进行分析，就会找到这个过程的某些模式，分离出时间周期、地域、主题偏好等要素，对GFW内部的机制有一个轮廓性的刻画。