郑州网站建设
郑州网站建设
郑州网站建设
当前位置:首页 > 新闻中心 > SEO专区

网站优化之页面抓取过程分析

网站地址:www.hugekj.com  时间:2018-11-21  关键词:郑州网站建设,河南SEO,郑州网页设计,郑州建站  浏览:
郑州网站建设知道有一个词大家都很清楚,“url”即统一资源定位符,通过对url的分析,我们可以更好地理解页面抓取过程。下面郑州网站建设就来和大家分享下网站在优化过程中是如何抓取页面信息的。4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
一、url是什么意思?4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
URL,英文全称为“uniform resource locator”,中文译为“统一资源定位符”。4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
在网站优化中要求每一个页面有且仅有一个唯一的统一资源定位符(URL),但往往很多网站同一页面对应了很多个URL,如果都被搜索引擎收录且未做URL转向,就会产生权重不集中的情况,通常称为URL不规范。4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
二、url的组成4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
统一资源定位符(URL),由三部分组成:协议方案、主机名和资源名。4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
例如:4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
https:// www.h**.com /118064dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
其中https为协议方案,www.***.org 为主机名 ,11806为资源,不过这个资源不太明显,一般资源后缀为.html,当然还可以是.pdf、.php、.word等格式。4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
三、页面抓取过程简述4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
无论是我们平时用的互联网浏览器,还是网络爬虫,虽然是两种不同的客户端,但获取页面的方式却是相同的。页面抓取过程如下:4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
① 连接DNS域名系统服务器4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
客户端都会先连接到DNS域名服务器上,DNS服务器将主机名( www.***.org )转换为IP地址,并反馈给客户端。4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
PS:本来我们通过111.152 . 151.45 的地址来访问某网站,为了方便记忆和使用,才利用DNS域名系统转换为了 www.***.com 。这也就是DNS域名系统的作用。4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
② 连接IP地址服务器4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
该IP服务器下可能会有很多程序(网站),可以通过端口号来做区分,同时每个程序(网站)都会监听端口是否有新的连接请求,HTTP网站默认为80,HTTPS网站默认为443。4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
不过通常情况下,端口号80和443是默认不出现的。4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
举例来讲:4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
https://www.***.org:443/ = https://www.***.org/4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
http://www.***.org:80/ = http://www.***.org/4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
③ 建立连接并发送页面请求4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
客户端与服务器建立连接后,会发送页面请求,通常为get,也可以是post。4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
get 11806 HTTPS/1.04dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
获取HTTPS协议下的页面11806 返回给客户端。之后如需继续获取更多页面,则发送其他请求,否则将关闭该连接。4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
PS:通常情况下 ,/seo/11806.html 可能会更清晰。也就是发送 https://www.***.org/ 下的 seo文件夹下的 11806.html 的页面请求。4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
以上就是郑州网站建设总结的内容,谢谢大家的阅读!4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
4dg郑州网站建设- 郑州网站优化_郑州网站制作_郑州网页设计-河南数威网络科技
文章来源于郑州数威网络科技www.hugekj.com,转载请注明!

联系电话

17600315583

河南郑州数威网络科技有限公司

  • 郑州中原区郑上路须水工贸园
  • 1449585010@qq.com
  • ©2015-2028 郑州数威网络科技有限公司豫ICP备16041980号-1百度地图