采集任务调度功能模块怎么写

如题所述

采集任务调度功能块:需要用到不同的资源,比如:采集微博需要微博Cookie资源、采集雪球网需要雪球Cookie资源、采集汽车之家需要IP代理池资源等。
1、多数据结构混合实现:采集中经常会遇到两个问题:a)屏蔽;b)抓取源码需要多资源,比如:雪球网,即要用到Cookie资源。
温馨提示:答案为网友推荐,仅供参考
相似回答
大家正在搜