首先您应该明确,不止Python这一种语言可以做爬虫,诸如PHP、Java、C/C++都可以用来写爬虫程序,但是相比较而言Python做爬虫是最简单的。下面对它们的优劣势做简单对比:
PHP:对多线程、异步支持不是很好,并发处理能力较弱;Java也经常用来写爬虫程序,但是Java语言本身很笨重,代码量很大,因此它对于初学者而言,入门的门槛较高;C/C++运行效率虽然很高,但是学习和开发成本高。写一个小型的爬虫程序就可能花费很长的时间。而Python语言,其语法优美、代码简洁、开发效率高、支持多个爬虫模块,比如urllib、requests、Bs4等。Python的请求模块和解析模块丰富成熟,并且还提供了强大的Scrapy框架,让编写爬虫程序变得更为简单。因此使用Python编写爬虫程序是个非常不错的选择。
编写爬虫的流程
爬虫程序与其他程序不同,它的的思维逻辑一般都是相似的,所以无需我们在逻辑方面花费大量的时间。下面对Python编写爬虫程序的流程做简单地说明:
先由urllib模块的request方法打开URL得到网页HTML对象。使用浏览器打开网页源代码分析网页结构以及元素节点。通过BeautifulSoup或则正则表达式提取数据。存储数据到本地磁盘或数据库。当然也不局限于上述一种流程。编写爬虫程序,需要您具备较好的Python编程功底,这样在编写的过程中您才会得心应手。爬虫程序需要尽量伪装成人访问网站的样子,而非机器访问,否则就会被网站的反爬策略限制,甚至直接封杀IP,相关知识会在后续内容介绍。