当前位置:首页 > 软件开放 > 正文内容

网站源码爬取(获取网站源码)

软件开放3年前 (2023-01-12)2132

今天给各位分享网站源码爬取的知识,其中也会对获取网站源码进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!

本文目录一览:

用requests库爬取网站源码问题

这个网页是JavaScript异步加载的,直接用requests爬不到你想要的网页源码。

为什么别人网站源码中只有少量内容,其他通过js实现

最有可能的原因就是网页数据是动态加载的,存储在一个json文件中,直接获取源码是提取不到任何信息的,需要抓包分析才行,下面我简单介绍一下操作过程,以某某贷上的数据为例(动态加载):

1.首先,打开原网页,如下,这里假设我们要爬取的数据包含年利率、借款标题、期限、金额和进度5个字段:

2.接着右键打开网页源码,按Ctrl+F搜索其中关键字,如“10.20%”,可以看到,任何信息都匹配不到,说明数据是动态加载的,而非直接嵌套在网页源码中:

3.按F12调出浏览器开发者工具,开始抓包分析,依次点击“Network”-“XHR”,F5刷新页面,可以看到,数据是动态加载的,存储在一个json文件中,而非html网页源码,只有解析这个json文件,才能提取出我们需要的数据:

4.接着就是根据抓包结果解析json文件,已经获取到url地址,所以直接get请求即可,然后用python自带的json包解析就行,测试代码如下,非常简单,依次根据属性提取字段信息即可:

5.最后点击运行程序,截图如下,已经成功提取到我们需要的数据:

至此,我们就完成了网页动态数据的爬取。总的来说,整个过程非常简单,最主要的还是抓包分析,获取到真实存储数据的文件,然后再解析就行,只要你有一定的python基础,熟悉一下上面的过程,很快就能掌握的,当然,如果数据或链接进行了加密处理,这个就非常复杂了,需要自己好好琢磨一下,网上也有相关资料和教程,感兴趣的话,可以搜一下,希望以上分享的内容能对你有所帮助吧,也欢迎大家评论、留言进行补充。

python怎么爬取网页源代码

#!/usr/bin/env python3

#-*- coding=utf-8 -*-

import urllib3

if __name__ == '__main__':

http=urllib3.PoolManager()

r=http.request('GET','IP')

print(r.data.decode("gbk"))

可以正常抓取。需要安装urllib3,py版本3.43

网站源码爬取的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于获取网站源码、网站源码爬取的信息别忘了在本站进行查找喔。

扫描二维码推送至手机访问。

版权声明:本文由飞速云SEO网络优化推广发布,如需转载请注明出处。

本文链接:http://chxinda.com/post/3578.html

分享给朋友:

“网站源码爬取(获取网站源码)” 的相关文章

无锡软件开发(无锡软件开发工资)

无锡软件开发(无锡软件开发工资)

本篇文章给大家谈谈无锡软件开发,以及无锡软件开发工资对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。 本文目录一览: 1、无锡做软件开发(应届毕业生生,工资一般多少) 2、无锡永中软件是外包吗 3、无锡冲驰软件科技有限公司怎么样? 无锡做软件开发(应届毕业生生,工资一般多少) 也就是...

软件开发公司排行榜(上海软件开发公司排行榜)

软件开发公司排行榜(上海软件开发公司排行榜)

今天给各位分享软件开发公司排行榜的知识,其中也会对上海软件开发公司排行榜进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!本文目录一览: 1、软件开发哪家公司好 2、2021中国十大软件公司排名 3、小程序的开发公司排名 4、软件开发十大排行榜公司有哪些? 5、软...

广东省江门市开平橙子网(广东省江门市开平市简介)

广东省江门市开平橙子网(广东省江门市开平市简介)

本篇文章给大家谈谈广东省江门市开平橙子网,以及广东省江门市开平市简介对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。 本文目录一览: 1、开平橙子网上的二手手机可信吗? 2、开平橙子网,部落网各大论坛全被封了? 3、从白云机场到江门开平市,该怎么乘车? 4、广东省开平市有哪几间证券...

苹果X如何信任软件(苹果x怎么信任一个软件)

苹果X如何信任软件(苹果x怎么信任一个软件)

今天给各位分享苹果X如何信任软件的知识,其中也会对苹果x怎么信任一个软件进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!本文目录一览: 1、苹果X信任设置在哪里 2、想问苹果xr信任设置在哪里 3、苹果x手机怎么打开信任的开发者 4、苹果手机受信任在哪里设置?...

游咔破解版(哔咔破解游戏)

游咔破解版(哔咔破解游戏)

今天给各位分享游咔破解版的知识,其中也会对哔咔破解游戏进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!本文目录一览: 1、游咔游戏盒子为什么一直要刷新 2、游咔加载不出来为什么 3、游咔密码到底是什么 4、游咔怎么更新 5、游咔游戏盒app打不开 游咔游戏盒子...

好大学在线网站官网(好大学在线是什么)

好大学在线网站官网(好大学在线是什么)

今天给各位分享好大学在线网站官网的知识,其中也会对好大学在线是什么进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!本文目录一览: 1、好大学在线是免费的吗 2、线上教学平台有哪些 3、好大学在线小程序怎么登录 好大学在线是免费的吗 好大学在线”免费提供的平台及课程服务...