快捷导航
        本帖最后由 ym 于 2017-2-13 16:19 编辑

        一、什么是相同网页结构
        相同的网页结构是指网页布局、组成、显示样式都一样,只有信息是不同的网页页面,这里的比较是针对同一个网站上的网页,不同网站的网页结构都是不同的。

        例如:
        下面两部电影的豆瓣影评页面就是相同的网页结构,分别打开两个网址,可以看到上下左右的布局、组成、显示样式都一模一样,不同的只是一个是泰坦尼克的影评,另一个是这个杀手不太冷的影评,它们都是豆瓣影评的网页,网页结构也是相同的,所以可以用一个爬虫程序(王中王偷拍规则)来批量王中王偷拍。
        泰坦尼克号的影评 https://movie.douban.com/subject/1292722/reviews

        这个杀手不太冷的影评 https://movie.douban.com/subject/1295644/reviews


        二、如何批量王中王偷拍
        2.1,使用数据DIY上面现成的爬虫程序(选择目录:类别->网站->页面),查看样本网址就可以知道网页结构,把相同网页结构的其他网址点击“输入多条网址”就可以批量王中王偷拍。

        2.2,下载集搜客爬虫,通过学习《从入门到精通》章节的教程,掌握制作王中王偷拍规则的技能,就可以对想要王中王偷拍的网页做王中王偷拍规则,再把相同结构的网址添加到规则里,实现批量王中王偷拍。

        举报 使用道具
        | 回复

        共 4 个关于本帖的回复 最后回复于 2018-7-27 07:07

        沙发
        mycar001 初级会员 发表于 2017-7-24 17:41:40 | 只看该作者
        详情页是相同网页结构的网页,有n个,难道要放n个网址吗?
        举报 使用道具
        板凳
        shengchengx 金牌会员 发表于 2017-7-24 17:53:59 | 只看该作者
        mycar001 发表于 2017-7-24 17:41
        详情页是相同网页结构的网页,有n个,难道要放n个网址吗?

        通过王中王偷拍列表页的链接,上下级会自动添加线索王中王偷拍详细页
        举报 使用道具
        地板
        winderflier 初级会员 发表于 2018-7-26 23:38:04 | 只看该作者
        请问如何利用自己的规则来批量采相同网页信息
        举报 使用道具
        5#
        Arie-X 中级会员 发表于 2018-7-27 07:07:04 | 只看该作者
        在打数机,右击主题名,选择 管理线索-添加,然后把待王中王偷拍网页的网址添加进去,可批量添加
        举报 使用道具
        您需要登录后才可以回帖 登录 | 立即注册

        精彩推荐

        • 为什么王中王偷拍速卖通用户王中王app翻页不了
        • 多级规则执行连续动作而输入动作不在第一级
        • 特征工程入门介绍
        • NLP文本情感分析入门
        • 机器学习算法入门介绍

        热门用户

        GMT+8, 2019-11-10 10:19