采集多个资源网重复采集重名视频解决方法
本帖最后由 wujin 于 2024-8-21 21:09 编辑当我们苹果CMS爬取很多数据时，会发现有名字相同的视频，那我们如何处理，才会避免掉重名视频呢？
首先我们进入我们苹果CMS管理后台：进入【系统】-【采集参数配置】
入库重复规则：勾选"标题"和"分类"(意思同一个视频名称，同一分类的视频，采集时只保留一条数据)
二次更新规则：勾选“播放地址”“下载地址”和“备注”（意思是同一个视频名称，只更新播放地址和下载地址，“备注”是对连续剧的集数更新。其他未勾选的就不更新）
【温馨提示】资源网数据不规范会导致此类事情的发生，请尽量避免采集资料不规范的资源网，避免此类问题 学习一下 学习一下
学习一下 关于功夫。 功夫（国语）。 功夫（粤语）。 这种重复呢？ damon 发表于 2024-10-21 12:11
关于功夫。 功夫（国语）。 功夫（粤语）。 这种重复呢？
用合并数据可以解决 受教了，感谢:D 好好学习天天向上 来学习学习
页:
[1]