网络爬虫不是什么神秘黑客工具，它本质上就是一段“自动上网找信息、把信息带回来”的程序，你可以把它想象成一只特别勤快的小蜜蜂，或者一个不知疲倦的“网络采蘑菇人”：你告诉它去哪里、找什么、找多少，它就沿着网页链接一路走、一路读、一路把需要的内容存下来，只不过，这只“小蜜蜂”如果没人管、没边界，也可能变成让人头疼的“数据搬运工”。
很多人第一次听到“网络爬虫是什么”，会以为这是程序员才需要懂的东西，其实它离普通人的生活特别近，举个小例子：前阵子我想买一台空气炸锅，先在某平台看了一款，又去另一个平台比价格，最后还去第三个平台看评价，后来朋友跟我说，他根本不用一个个打开，直接用比价网站，输入型号，几秒钟就能看到不同平台的报价，这个比价网站背后，很可能就有网络爬虫在工作——它定期去各个电商页面抓取商品名称、价格、优惠信息，再整理成一张对比表，你看，爬虫没你想的那么远，它可能就在你“省下的几十块钱”里。
再比如搜索引擎，你在搜索框里输入“附近哪里能修电脑”，几秒钟后出来一堆结果，这背后也有爬虫的功劳，搜索引擎的爬虫会沿着互联网上的链接不断访问网页，把标题、正文、链接关系等信息带回去，建立索引，没有爬虫，搜索引擎就很难知道网上有哪些新内容，还有我们常用的招聘信息聚合、房产信息查询、新闻聚合、舆情监测，甚至一些内容平台的内容推荐,背后都可能有爬虫或类似的数据采集技术在参与。
但话说回来，网络爬虫是什么，不能只讲它“能干好事”，工具本身是中性的，关键看怎么用、用到什么程度，我认识一个做自媒体的朋友，他花了两天写的一篇稿子，刚发出去没多久，就被几个网站原封不动搬走了，连配图都没换，后来一查，对方大概率是用爬虫批量采集内容，再靠广告赚钱，对原创作者来说，这种“被爬走”的感觉非常糟糕，还有更严重的，比如爬取用户个人信息、手机号、住址，或者用极高频率访问网站，把人家服务器拖垮，这时候，爬虫就不再是“勤快的小蜜蜂”，而是越界的“数据小偷”和“流量打手”。
所以我特别想表达一个个人观点：我们没必要把网络爬虫妖魔化，但也绝不能把它当成“法外之地”。 爬虫技术本身没有原罪，搜索引擎靠它发现网页，研究者靠它做数据分析，普通用户靠它比价、找信息，这些都是正常需求，但正常需求不等于没有边界，边界在哪儿？我觉得至少有几条：第一，要尊重网站的robots协议和使用条款，人家明确说不让爬的区域，别硬闯；第二，控制访问频率，别为了自己方便把别人服务器当免费劳动力往死里用；第三，涉及个人信息、隐私数据、付费内容、原创作品，要有敬畏心，不能“先爬了再说”；第四，商业使用更要谨慎，数据来源、授权范围、版权问题都得弄清楚。
有人可能会说：“网站公开的东西，为什么不能爬？”这话听起来有道理，但其实不完全对，公开可见不等于可以无限复制、随意商用，就像书店里的书摆出来谁都能翻，不代表你可以把整本书复印了拿去卖，网站把内容公开，是为了让用户浏览，不是默认允许任何人批量搬走，平台设置反爬机制，也不全是“小气”，有时候是在保护用户隐私、服务器稳定和内容版权，平台也不能把反爬当成万能挡箭牌，合理的公共数据需求、研究需求,应该有更清晰的规则和通道。
回到“网络爬虫是什么”这个问题，我觉得普通人至少可以建立两个认知：一是别神化它，它不是洪水猛兽，很多便利服务背后都有它；二是别忽视它，你的文章、照片、评论、消费记录，都可能在你看不见的地方被采集，作为自媒体作者，我更希望行业里多一些“有规矩的爬虫”：先看规则，再谈效率；先尊重数据背后的人，再谈技术实现，技术跑得快是好事,但跑之前得知道红绿灯在哪儿。
说到底，网络爬虫是什么？它是一把很实用的“数据镰刀”，用来收割公开信息、做比价、做搜索、做研究，能提高效率；可要是挥过界，割到别人的隐私、版权和服务器，那就不是工具的问题，而是人的问题了，工具没有价值观,使用工具的人得有。