采集任务调度功能模块怎么写

Question

如题所述

Answer 1

采集任务调度功能块：需要用到不同的资源，比如：采集微博需要微博Cookie资源、采集雪球网需要雪球Cookie资源、采集汽车之家需要IP代理池资源等。
1、多数据结构混合实现：采集中经常会遇到两个问题：a)屏蔽；b)抓取源码需要多资源，比如：雪球网，即要用到Cookie资源。