Chrome 扩展,批量下载 Pixiv 的插画和小说。过滤作品、下载时重命名、转换动态图片等。Powerful Pixiv batch downloader. Batch download artworks and novels, filter works, rename when downloading, convert animated images, and more.
GPL-3.0 License
Bot releases are hidden (Show)
Published by xuejianxianzun about 1 year ago
Published by xuejianxianzun about 1 year ago
Published by xuejianxianzun about 1 year ago
这个功能很早就有了,就是多图作品页面里,大图下方显示的一横排缩略图列表。只是以前不能关闭,现在加了个开关可以关闭了。
修复了在作品页面内收藏作品后,显示的“推荐作品”的图片无法完全显示的问题。现在将其保持为原大小。
Published by xuejianxianzun about 1 year ago
上版本增加的提示 可能发生了错误。请刷新页面重试
可能会意外出现,并且日志里可能会多次出现。现在修复此问题。
Published by xuejianxianzun about 1 year ago
https://github.com/xuejianxianzun/PixivBatchDownloader/issues/338
下载时进度条卡住,有多种可能的原因,有一种可能情况似乎是 Chrome 自己的下载管理功能出问题了,这种情况下它不会向前台脚本返回信息,所以进度会卡住。
尝试检测这种情况:向浏览器发送下载后 3 秒如果没有收到回应,就提示刷新页面重试。
增加了一个隐藏命令 ppdtask3
,输入命令可以打开所有的测试页面,目前共 21 个页面。
Published by xuejianxianzun about 1 year ago
Published by xuejianxianzun about 1 year ago
有些用户在添加关注时需要附带一个特殊的 token,如果缺少就会导致 400 错误。
下载器无法解决此问题,目前使用 iframe 方法模拟点击来关注用户。此方法存在如下问题:
详情参见:notes\recaptcha_enterprise_score_token 添加关注的用户时的验证码.md
为了解决遇到的一些问题,花了很长时间。
批量关注用户时,添加 1000 个关注之后下载器会自动停止,以免用户被 Pixiv 封号。
详情参见:notes\批量关注用户太频繁导致账户被封禁限制.md
Pixiv 原本的中间区域不是全宽的,显示更大的缩略图功能会加宽。
最近在首页和其他某些页面里加宽或放大图片失效了,现在修复。
Published by xuejianxianzun over 1 year ago
在你或其他用户的 Following 页面里,你可以导出关注的用户列表。
选择“导出关注的用户列表(JSON)”生成的 JSON 文件,下载器会读取里面的用户列表,然后关注他们。
这两个功能是搭配使用的。你可以先导出,然后导入来批量关注用户。
当你有多个帐户时,可以使用这个方法同步你关注的用户列表。
你也可以复制其他用户的关注用户列表。
注意:
下载器在批量关注用户时,会设置时间间隔以避免因 429 错误导致关注失败,但是这不能百分百避免 429 错误。如果执行完毕后,你发现已关注数量少于预期,可以再次导入列表以进行批量关注。
批量关注之前,下载器或先获取一遍你的关注列表,已经关注过的就不需要重复发送关注请求了,节约时间。
除非你明白自己的目的,否则不应使用这个功能。
这是为了解决 429 问题进行的尝试,因为未登录时不会触发 429 错误,所以可以退出登录然后高速抓取。但是它有很大的局限,不是完美的。
这个方法的操作步骤如下:
局限:
适用场景:
当下载器的抓取结果很多时,导出的 JSON 文件的体积可能大于 512MB,这会导致导入到下载器时失败。
现在下载器导出的 JSON 文件体积上限是 500 MB。如果总数据量超过这个体积,就拆分成多个文件。
之前如果用户未登录,下载器获取屏蔽设置(Mute)会失败(401)),并且 Mute 模块会抛出错误导致抓取中止。
现在下载器会检查用户是否登录,如果未登录则不会获取屏蔽设置。
而且即使请求发生错误,下载器也可以继续抓取。
这个功能开启后会导致首页“关注用户・好P友的作品”区域的横向滚动出现异常,发现页面里似乎也有同样问题,其他地方没有问题。
之前因为上述问题,这个功能是默认关闭的,现在改为默认开启。
Published by xuejianxianzun over 1 year ago
当用户点击“开始抓取”按钮后,“停止抓取”按钮会显示出来。点击它就可以停止抓取。
如果点击时已有抓取到的作品,则会保留此时的抓取结果以供下载。
在这里可以看到用户屏蔽的标签和用户:
https://www.pixiv.net/setting_mute.php
下载器会检查这里的设置,但是之前没有在日志上显示提示,现在会提示里面的屏蔽设置(如果有)。
小说里一张内嵌插图被多次调用时(也就是重复出现时),下载器生成的 EPUB 文件里只会把第一次调用替换为图片。现在可以把后面的调用也替换为图片了。
https://github.com/xuejianxianzun/PixivBatchDownloader/issues/334
当处于搜索页面,并且启用了“预览搜索页面的筛选结果”时,不使用“文件下载顺序”里的排序结果,而是始终按收藏数量排序。
Published by xuejianxianzun over 1 year ago
短时间内添加大量的收藏也会引起 429 错误。下载器在一些情况下会批量添加收藏,之前没有在收藏之间添加间隔,容易引发 429 错误,现在添加了慢速收藏机制,每 2 秒发起一个收藏请求。
https://github.com/xuejianxianzun/PixivBatchDownloader/issues/313
Pixiv 会把有些中文标签翻译为英文,这导致用户使用 {tags_transl_only}
保存翻译后的标签时,反而会得到英文,例如:
原神 Genshin Impact
神里綾華 Ayaka Kamisato
八重神子 Guuji Yae
明日方舟 Arknights
史尔特尔 Surtr
现在进行了优化,如果中文标签被翻译成了英文,那么下载器会保存中文标签。
在一些宽度较小的手机上,下载器的按钮不能并排,现在改成可以并排 2 个。
Pixiv 在搜索页面的过滤条件中添加了 “AI 作品”设置,查询字符串名字是 ai_type
,如果 ai_type=1
则表示隐藏 AI 作品。
现在下载器在抓取时可以应用此过滤条件了。
Published by xuejianxianzun over 1 year ago
之前下载器在移动端浏览器(如 Kiwi 浏览器)上使用时,有些功能不能正常使用,而且下载器的界面也不能完整显示。
现在修复了这些问题。
具体可以查看 notes/对移动端浏览器进行优化.md
。
Published by xuejianxianzun over 1 year ago
一些用户的 pixiv 页面处于夜间模式时,被高亮的用户名可能同时具有黄色背景和黄色字体颜色。
这是错误的,此时不应该具有黄色背景。
原因是下载器之前依赖 html 标签上的特定属性来判断页面处于普通模式还是夜间模式,但是现在我发现当 html 标签上没有任何属性时,既有可能是普通模式,也有可能是夜间模式。所以有时候下载器设置的高亮效果就会出现错误。
现在下载器在 html 标签上添加了自定义的属性,解决了判断不准确的问题,修复了这个 bug。
Published by xuejianxianzun over 1 year ago
你关注(Following)的用户的名字会具有黄色背景,或者显示为黄色(这取决于你是否开启了 Pixiv 的夜间模式)。
这便于你确认自己是否关注了某个用户。
这个功能默认开启。
你可以在“更多”选项卡的“增强”分类里找到它。
Published by xuejianxianzun over 1 year ago
https://github.com/xuejianxianzun/PixivBatchDownloader/pull/309
在“更多”选项卡的“命名”分类里添加了这个设置。
下载器默认使用 ,
分割标签,如 tag1,tag2,tag3
。现在你可以自定义文件名中使用的标签分隔符号,以替换默认的 ,
。
这里不仅可以设置为单个字符,也可以设置为多个字符(如果你有需要的话)。
https://github.com/xuejianxianzun/PixivBatchDownloader/issues/306
https://www.pixiv.net/novel/show.php?id=15066191
这个小说标题里的“上”后面含有一个特殊的字符 \u0000
,导致下载器保存文件时出现问题,浏览器弹出另存为对话框,并把文件名从这个特殊字符截断。
现在修复此问题。
Published by xuejianxianzun over 1 year ago
之前用户在预览作品时,可以按快捷键 D
下载这个作品。
但是一个作品可能有多张图片,用户有时只想下载预览的这张图片(例如:这个作品的第 2 张图片),而不是下载作品里的所有图片。
现在可以按快捷键 C
只下载当前显示的图片。
Published by xuejianxianzun over 1 year ago
Published by xuejianxianzun over 1 year ago
https://github.com/xuejianxianzun/PixivBatchDownloader/issues/301
https://www.pixiv.net/users/46532390
这个画师的名字是 con.fundo_
,由于 con
是 Windows 的保留文件名,并且还同时满足以下条件,才导致了文件名非法,无法下载:
.
(如果跟着的不是 .
而是其他字符,则是合法的)现在下载器可以检测这种情况,并把半角的 .
替换成全角的 .
,修复了这个问题。
Published by xuejianxianzun over 1 year ago
以前当下载完成时,下载器会在页面标题上显示 ✓ 标记。
现在下载器添加了 ☑ 标记,如果你看到 ☑,就意味着这次完成的下载任务不是从当前页面建立的。这在某些时候可以避免混淆。
它会在发生以下情况时取代 ✓ :
这个标记判断的是 抓取开始 时的 URL。这个 URL 保存在 store.URLWhenCrawlStart
。在保存和恢复未完成任务时,这个变量也会被保存和恢复。
用户以前可能容易忽略掉一些提示和快捷键。现在下载器会在首次使用相关功能时,显示对应的提示。
Published by xuejianxianzun over 1 year ago
文件下载顺序 - 排序依据 o作品 ID o收藏数量 o收藏时间 | o降序 o升序
你可以在“更多”选项卡的“下载”分类中找到这个设置。
这个功能默认未启用。
这不是必须的设置;如果你有需要,可以启用此设置。
注意: 启用此设置可能会增加下载完成所需要的时间。
这是因为当下载器同时下载多个文件时,后面的文件可能比前面的文件更早完成下载。为了保持下载顺序,下载器会让后面的文件等待一段时间。
例如下载线程为 5,下载的文件的顺序编号是 1、2、3、4、5,但是 5 最先完成下载。下载器会让 5 等待 1、2、3、4 全部下载并保存到硬盘上之后,再保存 5。这就导致 5 需要等待一段时间,所以这有可能导致下载时间增加。
当下载的文件中有动图时,等待时间很容易进一步增加。假如一个动图下载后开始转换(甚至假设它是第一个,还没下载完,更没有开始转换),此时后面的图片已经下载完了,但是由于动图没转换完,所以后面的图片都要等待这个动图转换完成。也就是说其他下载线程被这个动图阻塞了。由于动图转换花费的时间可能会比较久,所以等待时间也会变多。
当你在自己的收藏页面时,可以在“更多”选项卡里看到这个按钮。
点击这个按钮,等待下载器执行完毕之后,本页面中的所有作品会变成未分类状态。
以前慢速抓取是默认关闭的,现在改为默认开启,以减少 429 问题出现的概率。
同时,当出现 429 错误时,下载器会在日志里显示新的提示。
Published by xuejianxianzun almost 2 years ago
用户可以选择是否下载由 AI 生成的作品。
你可以在“抓取”选项卡里找到它。(需要先启用“显示高级设置”)
如果作品是由 AI 生成的,则输出 AI
。