这个网站,有点东西!
www.yddx.net

CrawlerForS:某堂中文爱情动作电影爬虫

CrawlerForS是一款可以爬取某堂高清中文电影数据并生成Excel文件的爬虫软件,爬取的数据包括电影的演员名字、预览图、磁力等内容。

Github:https://github.com/abcabc2020/CrawlerFor98_2.1

国内可能部分地区无法访问github。

以下内容节选自作者Github项目页面,具体详细的说明可以到Github查看。

为了可以有效根据更多的关键词进行搜索,或者更快的浏览,所以写一个可以进行不断更新爬取的软件,代替堂里其他人偶尔的更新。
a. 可以进行增量爬取,为了保证程序的效率,采用了日志的方法,即:./98_Data/result.txt文件记录了爬取的开始日期和结束日期,在这个基础上更新新的数据,简单快捷。
b. 可以自动在爬取时下载对应的封面和截图(需要开dai-li,否则会出现大量失败),下载失败自动重试,如果失败自动记录在failimage.txt文件中
c. 新版增加多线程运行功能:可自定义线程数:图片下载线程,网页详细数据处理线程,每页url处理线程(有最大数量限制,超出自动变成最大数)

软件功能说明&包含文件说明
1、CrawlerForS_x.x
对高清中文电影区的数据进行爬取。
2、TitleReplace_x.x
对所选文件夹下的电影进行文件名替换,替换为汉语标题,影片的内容了解一大半,方便选择。

百度网盘 提取码:nu1u

赞(113) 打赏
本站文章如未作说明即为原创,如需转载请注明出处:有点东西 » CrawlerForS:某堂中文爱情动作电影爬虫

评论 3

  • 昵称 (必填)
  • 邮箱 (必填)
  1. #-14
    头像

    链接消失了( ˘•ω•˘ )

    眷恋10个月前 (06-04)回复
  2. #-13
    头像

    连接挂了 麻烦再发一次哈

    耳机10个月前 (06-06)回复
    • 头像

      这是作者提供的链接,去文中提供的Github里找吧

      拿去吧10个月前 (06-07)回复

给网站一点小小的鼓励!

支付宝扫一扫打赏

微信扫一扫打赏