某航空公司机票信息采集

某航空公司机票信息采集
该网站采用了非常多的反采集手段
1.链接跳转次数很多
2.session过期时间很短
3.采用了非常多的cookie验证
4.所有的数据都是由javscript动态生成
5.要提取的数据不但是动态的,还是加了密的.
6.一个页面中使用到的自定义js文件就有十多个

采集数据的后台代理服务,提供转发指令,解析提供返回结果. 提供http服务,供客户使用http get方式查询.

通过浏览器测试查询,返回数据为Json格式

通过winform测试