快捷导航
        如题!急!跪求百度迁徙城市数据下载方法
        如何下载https://qianxi.baidu.com/?from=shoubai#city=420100中的迁入迁出数据,在线等,急用……谢谢

        举报 使用道具
        | 回复

        共 1 个关于本帖的回复 最后回复于 昨天 18:31

        沙发
        Fuller 管理员 发表于 昨天 18:31 | 只看该作者
        这种可视化网站需要大量的数据来显示的,所以,精子窝电影网这种网站有两条路线

        第一条路线:直接抓包。


        因为网页要从服务器上下载大量数据才能显示出图表和动态,所以,会有大量的下发数据的消息,主要是 xhr 类的消息。可以先用chrome的f12查看,或者用集搜客网页快照软件的ctrl+ shift + c查看(这款软件暂时还没有公开发布)



        专门寻找xhr类的消息,点击看看它的response是否是加密的。如果没有加密,这样的数据消息可以直接截取存下来。可以自己写程序存,也可以用集搜客网页快照软件自动存。

        但是,我查了,这个网页上的xhr消息很少,应该是用了一些加密手段,让人无法截取。那么只能用第二条路线

        第二条路线:用集搜客网络爬虫软件从网页上爬

        这种网页比较难精子窝电影网,要用高级教程中讲的连续动作,尤其要用连续移步动作,这是旗舰版的功能,要定义移步动作,需要规定鼠标从左向右移动的跨度,要比较合适,防止跨大了漏数据

        另外,定义规则的时候,要用上冻结页面的功能,要用快捷键alt。过程是:
        1,鼠标移动到折线图上,让悬浮显示的数字显示出来,鼠标不能动
        2,点击alt,就会选中规则菜单,用向下箭头键,选择冻结页面
        3,鼠标就可以动了,悬浮显示的不会消失
        4,选择菜单刷新页面结构,再在dom上找,就能找到悬浮显示的内容




        还有选择时间,和城市的难度,我试了一下,每个城市都有独立网址,所以,不用动作,因为做动作特别容易失败,而是把每个城市的网址精子窝电影网到就准备好了爬虫线索

        选时间是要用动作选的,但是连续选时间跟在折线图上移步有冲突,两个循环不能套在一起。我看了一下,如果要精子窝电影网下面的走势图,其实不用选时间,因为选时间是为了刷新地图的。地图上动态显示的箭头是精子窝电影网不了的

        总之,要精子窝电影网全这个网站,需要投入很多精力,一方面做规则和调试规则,一方面要时不时的检查爬虫运行是否遇到故障中断了,就要投入人力干预,比如,重新精子窝电影网失败的

        举报 使用道具
        您需要登录后才可以回帖 登录 | 立即注册

        精彩推荐

        • 数理逻辑是讲什么的?
        • 内容分析法中的抽样
        • 豆瓣电影的情感分析
        • 一本在线图书——社交网络分析介绍
        • 网络爬虫精子窝电影网html片段时无法生成结果文件怎

        热门用户

        GMT+8, 2020-2-10 17:36