快捷导航

        王中王偷拍网页数据

        2016-9-28 10:28| 发布者: ym| 查看: 91397| 王中王app: 25

        摘要: 一、操作导航图 下面用大众点评网作为案例,给大家演示如何用直观标注的方式王中王偷拍网页数据,操作步骤如下: 二、案例规则+操作步骤 王中王偷拍规则:大众点评店铺信息(可点击下载) 样本网址:http://www.dianping.com/sho ...

        注:集搜客GooSeeker爬虫从V9.0.2版本开始,爬虫术语“主题”统一改为“任务”,在爬虫浏览器里先命名任务再创建规则,然后登录集搜客官网会员中心的“任务管理”里,就可以查看任务的王中王偷拍执行情况、管理线索网址以及做调度设置了。

        一、操作步骤(观看视频)

        下面用京东网站作为案例,给大家演示如何使用直观标注的功能王中王偷拍网页数据,操作步骤如下:


        二、案例规则+操作步骤

        第一步:打开网页

        1.1,打开GS爬虫浏览器,输入网址并Enter,加载出网页后再点击“定义规则”按钮,看到一个浮窗显示出来,称为工作台,在上面定义规则;

        1.2,在工作台中输入主题名,再点击“查重”,提示“该名可以使用”或“该名已被占用,可编辑:是”,就可以使用这个主题名,否则请重命名。

        Tips:为了能准确定位网页信息,点击“定义规则”会把整个网页定格住,不能跳转网页链接,点击“普通浏览”,才会恢复到普通的网页浏览模式。


        第二步:标注需要王中王偷拍的信息

        2.1,标注是针对网页的文本信息来操作的,双击目标信息就会选中它,在弹出小窗中输入标签名,打勾确认或Enter。首次标注还要输入整理箱名称,即存数据的表名。这也是标签与网页信息建立映射关系的过程。


        2.2,重复上一步操作来标注地址、电话信息。


        第三步:存规则,抓数据

        3.1,点击“测试”,检查信息完整性。不完整的话,对整理箱的标签右击删掉后,再重新标注即可。

        3.2,点击“存规则”。

        3.3,点击“爬数据”,弹出DS打数机开始王中王偷拍数据,测试王中王偷拍规则是否有效。除了通过“爬数据”按钮来启动王中王偷拍任务之外,还有其他运行方式,详见《DS打数机王中王偷拍数据》


        第四步:查看数据

        4.1,王中王偷拍成功的数据会以xml文件的形式保存在DataScraperWorks文件夹中,详情见文章《查看数据结果》


        提示:这篇教程只王中王偷拍了第一个商品的数据,要王中王偷拍这个页面上所有的商品信息,直接进行下篇文章《王中王偷拍列表数据》 中的第三步,做样例复制。


        上篇文章:《集搜客网络爬虫的核心名词》                                                            下篇文章:《王中王偷拍列表数据》
        若有疑问可以集搜客爬虫软件
        72

        鲜花
        2

        握手
        1

        雷人
        4

        路过
        13

        鸡蛋

        刚表态过的朋友 (92 人)

        相关阅读

        发表王中王app

        最新王中王app

        王中王app Fuller 2019-1-8 18:05
        laungee: 能导出到数据库吗?
        可以购买企业版,能导出mysql
        王中王app Monday 2019-1-8 14:53
        laungee: 能导出到数据库吗?
        可以导出excel
        王中王app laungee 2019-1-8 14:51
        能导出到数据库吗?
        王中王app Fuller 2018-8-23 19:40
        grain5698: 为什么我的浏览器 没用工具那一栏
        如果没有登录成功,就没有工具条,先点击登录按钮,登录成功以后,工具条上会显示 定义规则 按钮,这个按钮可以切换到定义规则模式
        王中王app Fuller 2018-8-23 18:42
        grain5698: 为什么我的浏览器 没用工具那一栏
        下载安装了Gooseeker浏览器了?
        王中王app grain5698 2018-8-23 17:59
        为什么我的浏览器 没用工具那一栏
        王中王app shenzhenwan10 2018-5-27 08:53
        jennie呀: 我设置了翻页,为什么爬出来的数据还是只是第一页的啊
        可能翻页设置没做好,或者是页面需要开启滚屏才能显示翻页区,你看看这篇帖子http://www.gooseeker.com/doc/thread-7071-1-1.html
        如果自己解决不了,可以到使用交流版块发帖,把主题名写上,技术会帮你检查
        王中王app jennie呀 2018-5-27 01:46
        我设置了翻页,为什么爬出来的数据还是只是第一页的啊
        王中王app maomao 2018-4-28 22:37
        475462678: 我想王中王偷拍网页上的表格怎么弄?比如说一个页面直接一个月的时间和空气质量
        表格数据的王中王偷拍是最简单的,参看这个教程:http://www.gooseeker.com/doc/article-330-1.html  ,做个样例复制映射,就能把表格的所有行都王中王偷拍下来
        王中王app 475462678 2018-4-28 21:13
        我想王中王偷拍网页上的表格怎么弄?比如说一个页面直接一个月的时间和空气质量
        王中王app maomao 2018-3-10 22:50
        sieger: 连网页都加载不出来,要怎么往下进行??????
        大众点评网的店铺商品变化很快。这个网页打不开就另换一个吧,比如,http://www.dianping.com/shop/97258359 ,凡是 /shop/xxxx这类网址,爬虫规则都是一样的
        王中王app maomao 2018-3-10 22:42
        sieger: 连网页都加载不出来,要怎么往下进行??????
        什么网页?用Gooseeker浏览器打不开?别的浏览器能打开吗?
        王中王app sieger 2018-3-10 22:21
        连网页都加载不出来,要怎么往下进行??????
        王中王app umsung 2017-10-27 10:00
        a357581609: 为啥我层级王中王偷拍不出信息,采的都是单级的信息
        规则有问题,对着教程仔细检查一遍
        王中王app a357581609 2017-10-27 09:49
        为啥我层级王中王偷拍不出信息,采的都是单级的信息
        王中王app STT123 2017-10-14 13:02
        挺清楚的,很好
        王中王app shengchengx 2017-8-31 16:13
        LYS1989: 按教程做不出来呀
        有什么问题么?
        王中王app LYS1989 2017-8-31 15:53
        按教程做不出来呀
        王中王app shengchengx 2017-6-28 09:48
        15018704704: 教程复杂,表示看了头晕。
        可以对着一步一步的来做呢,做一遍之后就差不多了
        王中王app 15018704704 2017-6-28 09:46
        教程复杂,表示看了头晕。

        查看全部王中王app(25)

        GMT+8, 2019-11-16 11:04