网络爬虫：从入门到入狱——漫谈爬虫程序的违法风险及合规建议
近日，51信用卡利用爬虫程序非法获取用户信息而被杭州警方立案调查，引爆了数据行业的对网络爬虫黑产的讨论。涉事公司51信用卡诞生之初，是为了帮助信用卡持有者解决管理多张信用卡不便的痛点，但随着51信用卡不断发展壮大，来钱更快的互联网信贷业务也逐渐变成这家公司的核心业务，如同大多数网贷公司一样，51信用卡委托外包催收公司催收欠贷，而外包催收公司在通过恐吓、滋扰等软暴力催收的过程中，51信用卡的技术团队则利用爬虫技术帮助其违规获取个人通讯录、地址定位等敏感信息，与黑恶势力配合默契，最终活成了自己曾经最讨厌的样子。而纸终究是包不住火的，51信用卡的东窗事发，让吃瓜群众看到了喜闻乐见的“上百名警察一举捣毁犯罪窝点”的法治新闻。
其实，数据行业的乱象由来已久，今年3月，巧达科技200来号人被一锅端的消息引爆了互联网数据产业圈，而这正是由于其一直从事的非法售卖用户个人信息黑产所引发的。
巧达科技2014年7月成立，号称是中国最大的用户画像关键数据服务提供商，可谓是在人力资源数据这一专精领域做到了极致，其主要业务为通过旗下的“乔大招”软件收集并提供海量简历数据。乔大招的厉害之处，在于其除了具有一般ATS（Applicant Tracking System）智能招聘管理系统拥有的功能外，还可主动在互联网上抓取简历修改历史，查看到对应简历被查阅次数、修改记录等，偷窃个人信息于无形之中，可谓七种武器之首。在享受了非法售卖个人信息所带来的高额利润数年之久后，巧达科技最终遭到公安铁拳出击，公司办公室一夜之间被查封，公司所有员工在同一天内被警察一锅端，带回警局接受调查。
一、数据黑产与爬虫——剪不断理还乱
其实，数据行业的乱象由来已久，从大规模数据窃取到“流量劫持”，从App超范围信息收集到“大数据杀熟”，数据行业的乱象给网络安全和公民个人隐私均带来了威胁，而更为可怕的是”数据黑产“。近年来，非法爬取并倒卖公民个人信息的乱象更是集中爆发，如前文提到的51信用卡和巧达科技，都是曾经的头部企业，这也意味着整个数据行业在接下来几年内，都将面临重新洗牌。
说到数据行业黑产，就不得不提到其赖以为生的一项技术——网络爬虫。网络爬虫（又称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。如果你用过抢票软件，就一定对这项技术不陌生。每当春运或者节假日期间，面对供不应求的车票，我们不得不求助于让你又爱又恨的抢票软件，其技术原理就是网络爬虫。通过反复访问购票页面，重复执行抢票动作，来第一时间帮你抢到车票。
其实以网络爬虫为基础的大数据收集，早已深入我们的身边方方面面，作为搜索引擎的底层技术，网络爬虫技术在很大程度上满足了大众对于信息检索的需求，此外，许多互联网公司赖以为生的基础数据都是通过爬虫程序爬取的，如笔者经常使用的天眼查、企查查、启信宝这三个企业信息查询网站，其数据都是从公开渠道（如企业信用信息公示系统）爬取的，查询网站一般在爬取后进行数据分析、加工及聚合，并以产品的方式呈现给访问者。
二、借我借我一双慧眼吧，让我把爬虫的善与恶看个清楚
一项技术越有创造力，就意味着其可以产生的破坏力也越强，如同菜刀可以做菜，也可以砍人，这也是网络爬虫技术成为黑产最爱的原因。从目前的法律法规和司法实践情况来看，网络爬虫技术的运用在以下情况下将存在违法乃至犯罪风险：
1、如果爬虫程序干扰了被访问的网站或系统正常运营
这是爬虫程序所能造成的最直接也是最明显的后果。爬虫程序本身的特点，决定了它必定会在短时间内频繁、大量地访问某一网站页面以获取数据，进而给网站服务器造成巨大的流量压力。而随着技术的更新迭代，爬虫程序的数据获取速度不断提升，随之而来的就是单位时间内对网站服务器的访问量水涨船高，进而造成类似DDOS（分布式拒绝服务攻击）的后果，干扰被访问网站或系统的正常运行。
例如本文前面提到过得典型的爬虫程序——火车票抢票软件，随着技术和算法的更新换代，不同于以往依靠后台人工填写验证码实现的访问（所谓的第一代“人工”智能），现在的抢票软件已经能够依靠神经网络学习，突破12306的“反人类”图片验证码，实现短时间内自动频繁访问抢票页面的效果，抢票效果比以前强几十倍，成本也降低了不少，属于典型的技术改变生活，这也是每到春运，12306服务器就会濒临崩溃的主要原因。
在法律责任方面，如果爬虫程序干扰了被访问的网站或系统正常运营，根据《刑法》第二百八十六条的规定，违反国家规定，对计算机信息系统功能进行删除、修改、增加、干扰，造成计算机信息系统不能正常运行，将构成“破坏计算机信息系统罪”。
而近日出台的《数据安全管理办法》（征求意见稿）中，则设置了专门针对数据爬取的条款进行了首次规定。根据《管理办法》，网络运营者采取自动化手段访问收集网站数据，不得妨碍网站正常运行；此类行为严重影响网站运行，如自动化访问收集流量超过网站日均流量三分之一，网站要求停止自动化访问收集时，应当停止。
2、 如果爬虫程序规避网站经营者设置的反爬虫措施或者破解服务器防抓取措施
基于我国互联网行业的现实，大部分头部企业的网站，均设置了反爬虫措施，并且在服务器端也部署了防抓取措施，他人只能经授权，通过API端口获取数据，而不能随意爬取网站服务器上的数据。如果爬虫程序通过伪装等方式，绕过或破解反爬虫措施，接入API端口，从而实现访问网站服务器并读取数据的目的，那毫无疑问是构成违法的。
在法律责任方面，如果爬虫程序规避网站经营者设置的反爬虫措施或者破解服务器防抓取措施，非法获取相关信息，根据《刑法》二百八十五条的规定， 违反国家规定，侵入除国家事务、国防建设、尖端科学技术领域以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，或者对该计算机信息系统实施非法控制，将构成非法侵入计算机信息系统罪。
3、 如果爬虫程序采集的内容如果涉及商业机密或公民个人信息
根据《刑法》第二百八十七条的规定， 利用计算机实施金融诈骗、盗窃、贪污、挪用公款、窃取国家秘密或者其他犯罪的，依照本法有关规定定罪处罚。
尽管显得非常“智能”，但爬虫程序的本质还是程序，是替人类完成任务的工具，因此，从结果来看，如果爬虫程序采集了商业机密或公民个人信息（包括但不限于公民的姓名、身份证件号码、通信通讯联系方式、住址、账号密码、财产状况、行踪轨迹等），情节严重的，则分别可能构成“侵犯商业秘密罪”和“侵犯公民个人信息罪”。如本文前面提到的51信用卡和巧达科技，其实均是触碰到了“侵犯公民个人信息”这一红线。
4、 如果爬虫程序爬取的数据被运用到公司提供的产品或服务中，对被爬取公司的产品或服务起到了替代作用
这一点在大众点评诉百度地图不正当竞争一案体现得尤为明显中，在该案的庭审中，大众点评方面认为百度地图方面在百度地图、百度知道中，通过爬虫程序大量爬取并使用大众点评网点评信息，直接替代了大众点评网向用户提供内容。因此，在使用爬虫程序爬取网站数据时，应当遵循“最少、必要”的原则，不能超出必要的限度，不能实质性替代被爬取的产品或服务，否则可能被认定为实施了《反不正当竞争法》所禁止的不正当竞争行为；除此之外，使用爬虫程序还应当尊重被爬取对象的劳动成果，如在爬取一些存在竞价排名的产品数据时，如果将爬取的数据排序方式完全照搬，并呈现在自己的同类型竞品中，那无疑是盗取了被爬取对象花费大量精力制作的算法所得出的商业逻辑，也存在违反《反不正当竞争法》的风险。
在具体判断爬虫程序是否存在违反《反不正当竞争法》的风险时，还需要关注以下几个要点：i.是否存在技术上的对抗性，即有没有绕过或破解反爬取措施或其他防护措施；ii.有没有违反被爬取产品或服务运营者的意愿，具体可参考产品或者服务规则或用户协议中的有关条款；iii. 被爬取产品或服务运营者为被爬取数据所投入的劳动或资源，如前面提到的竞价排名。
另外提一句，实务中会有客户向我们咨询：爬虫程序违反所爬取网站的robots协议会不会构成违法或者违约责任？要了解违反robots协议的后果，先要搞清楚robots协议的性质，robots协议也叫robots.txt，是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络爬虫程序，此网站中的哪些内容是不应被获取的，哪些是可以被获取的。实际上，robots协议并不是一个规范，也不是一种协议，而只是约定俗成的一种告示，并不具有法律效力，是典型的“防君子不防小人”协议。从目前国内的法律法规来看，并没有针对爬虫程序进行规范的生效法律法规，因此，爬虫程序单纯违反robots协议，并不会被直接认定为违法或违约行为，而是应当结合本文之前提到的其他情形来认定。
三、匹夫何罪怀璧其罪？技术中立？
在前文提到的51信用卡和巧达科技案中，我们总能听到一种声音，为程序员鸣不平，呐喊着诸如“匹夫何罪，怀璧其罪”（程序员只是因为身怀绝技，就被抓了）、“技术中立”之类难懂的话。诚然，程序员在公司人小言微，其收益和法律风险似乎不成正比，但扪心自问，在这种类型的案件中，程序员真的不存在任何过错吗？爬虫程序真的可以以“技术中立”为由自我辩解吗？
要知道，随着各大互联网公司信息壁垒的建立，反爬取技术已经成了一个互联网公司网站必备的防护措施，在这种情况下，爬虫程序只能通过一些技术手段去绕过或者破解这种措施。在爬虫与反爬虫的军备竞赛中，爬虫技术在程序员大牛的努力改造下获得了各种“外挂”，一般都可以主动地伪装成正常访问网站的用户，从而绕过网站的防护措施，狠一点的甚至可以通过攻击并瘫痪网站的防护措施，达到访问网站数据的目的。
实际上，在这种情况下，技术已经毫无中立性可言，即使尚可以说爬虫程序是中立的，但爬虫程序所装备的“外挂”，都早已失去了中立的地位，目的很明确，就是欺骗、绕过、破解防护措施，是典型的违法甚至犯罪行为。就如同菜刀可以用来做菜，但为了增强杀伤力，把菜刀改成了砍刀，带去公共场合，是很难不被抓起来并扭送派出所的。
我国刑法对此类单位犯罪采取双罚制度，即单位犯罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员判处刑罚。相关司法解释规定，在审理单位故意犯罪案件时，对其直接负责的主管人员和其他直接责任人员，可不区分主犯、从犯，按照其在单位犯罪中所起的作用判处刑罚。制作这些爬虫程序并加装“外挂”的程序员，其本身职业的性质决定了没有人会比他们更了解这些“外挂”是干什么的以及会给被爬取对象造成什么损害，存在犯罪的主观恶意，并且，对于此类犯罪行为，程序员大牛无疑是起到关键性作用的，因此，在这种情况下，即使可以推说是主管或者老板下的指令，也不能为其知法犯法的行为开脱，这也是为什么在巧达数据、51信用卡等案件中，虽然程序员确实在公司人小言微，但依然被批捕的原因。
四、生活不易，万勿一失足成千古恨
“法律总是滞后的”，虽然目前尚无生效法律法规对爬虫程序进行规范，但是，随着爬虫技术的发展，其所能带来的商业利益和损害将会越来越大，国家也势必将祭出更多的立法资源对爬虫进行治理，未来几年的立法资源也势必向这一领域倾斜。笔者大胆预测，在未来三五年内，在《数据安全管理办法》之后，必将有专门规制及监管“以自动化手段访问收集网站数据” （爬虫程序）的法规出现，以明确爬虫程序中的合规界限。在此之前， 笔者结合目前的司法实践和处罚案例，分别对程序员和公司负责人提出几点合规建议：
对程序员而言，首先要提高职业警惕性。程序员在当今的大数据时代，其杀伤力不亚于手里握着钢枪的战士，因此，自然应该对手中的程序的合法合规与否格外警惕：
（1） 首先要明确自己制作的爬虫程序是否涉及抓取对象的个人信息，如社交信息、财产信息、联系信息等；
（2） 其次，要明确是否涉及被抓取对象的商业机密，再次明确被抓取对方是否是自己所任职公司的直接竞争对手；
（3） 最后，建议严格按照公司制定的软件开发规范做事。
如果主管或者老板要求在开发规范之外，给爬虫程序加装“外挂”，如伪装外挂、暴力破解外挂时，硬气一点的，可以直接递上一本《中华人民共和国刑法》，而迫于生活压力不敢正面硬刚的，也要注意留下开发指令的书面邮件记录。诚然，生活不易，但为了微薄的工资而身陷囹吾，则是得不偿失了。
对公司负责人而言：
（1） 首先自己就要熟读《中华人民共和国刑法》，明确罪与非罪的界限，不能要求下属实施犯罪行为；
（2） 其次，对于《刑法》以外的涉及爬虫程序的法律，如《网络安全法》、《反不正当竞争法》等，也应当熟悉，避免出现爬虫程序违法及侵权的情况，必要时可以寻求外部法律顾问的帮助；
（3） 此外，建议严格管理和贯彻公司内部软件开发流程和规范，通过引入外部法律顾问进行定期公司内部培训等方式，让程序员和其业务主管明白违法界限，防止他们在KPI考核、Deadline、年终奖等因素的压力下，出现“病急乱投医”的情况；
（4） 最后，建议建立并完善公司内部的授权等级规范，明确管理层与项目组开发人员的对产品开发流程的权限范围，便于在问题发生时，及时厘清责任并找到相应的责任人。
文章被以下专栏收录
