Python，Node.js 哪个比较适合写爬虫

Question

如题所述

Answer 1

一点一点做解答吧：

1.对页面的解析能力
关于这一条，基本上就是靠特定语言的第三方包来完成网页的解析。如果要从零开始自己实现一个HTML解析器，难度和时间上的阻碍都是很大的。而对于复杂的基于大量Javascript运算生成的网页或者请求，则可以通过调度浏览器环境来完成。这一条上，Python是绝对胜任的。

2.对数据库的操作能力（mysql）
对数据库的操作能力上，Python有官方及第三方的连接库。另外，对于爬虫抓取的数据，存储在NoSQL型数据库个人认为更加合适。

3.爬取效率
确实脚本语言的运算速度不高，但是相对于特定网站反爬虫机制强度以及网络IO的速度，这几门语言的速度诧异都可以忽略不计，而在于开发者的水平。如果利用好发送网络请求的等待时间处理另外的事情（多线程、多进程或者协程），那么各语言效率上是不成问题的。

4.代码量
这一点上Python是占有优势的，众所周知Python代码简洁著称，只要开发者水平到位，Python代码可以像伪代码一样简洁易懂，且代码量较低。