引言
互联网作为信息和数据的载体，可以通过它获取到潜在客户的信息。数据可以为产品研发提供科学支撑，引导我们做出正确的决策，也可以为我们提供有效的销售线索，找到潜在的客户信息。而面对如此庞大的数据量，是否有方法可以在尽量减少人工操作的基础上，把网络上的数据批量自动化地进行处理，保留成整洁有序的表格，以便更高效地为我们提供数据支撑做决策？
想象这样一个场景：公司开发新产品，需要在投入研发之前了解同类产品的市场价格，以便于更好地控制新品的生产成本，让产品在市场上有价格优势。通过关键词搜索出了市场的同类产品，这时如果将列表展现出来的产品标题、价格、起订量等信息通过手动的方式粘贴下来，保存到表格里面，那这将会是一项非常庞大的工程。因为数据统计需要有大量的样本做支撑，才能使数据的准确性提高。而这时如果有一类软件帮你完成这种重复性工作，提高你的工作效率，是不是会方便很多。这就是爬虫的作用之一。