下载百度网盘数据至服务器（bypy + aria2）
文章目录
- 下载百度网盘数据至服务器（bypy + aria2）
- bypy + aria2
- 1. 安装
- 2. 获取自身百度网盘的授权码
- 3. 基础使用
- 4. Aria2 加速
- 参考
下载百度网盘数据至服务器（bypy + aria2）
生物信息学研究通常需要处理大量的数据集，如基因组序列、RNA-Seq 数据、蛋白质结构等，而这些数据往往被测序公司放置在百度网盘中。
使用 bypy 可以方便地从百度网盘获取这些数据，并将其下载到服务器进行进一步分析，确保数据管理的高效性和组织性。aria2 作为一个高效的下载工具，支持多线程下载，可以显著提高大文件的下载速度，同时如果网络中断或出现其他问题，aria2 支持断点续传，确保了下载的完整性和可靠性，对于长时间的下载任务可以避免重复下载已完成的部分。
结合使用 bypy 和 aria2 下载百度网盘数据至服务器极大地提升了数据获取的效率。
bypy + aria2
1. 安装
conda create -n aria2
conda activate aria2
# conda install -c conda-forge pip
conda install -c conda-forge aria2
pip install bypy
2. 获取自身百度网盘的授权码
输入 bypy info 会提示需要访问网址获取 API key（需要用百度网盘账号登录），然后复制或输入到命令行中即可。
bypy info
# Please visit:
# https://openapi.baidu.com/oauth/2.0/authorize?scope=basic+netdisk&redirect_uri=oob&response_type=code&client_id=q8WE4EpCsau1oS0MplgMKNBn
# And authorize this app
# Paste the Authorization Code here within 10 minutes.
# Press [Enter] when you are done
输入 Key 之后回车确认，如果提示 Successfully authorized 并且列出空间使用情况即成功。
3. 基础使用
bypy 命令结构很简单，就是 bypy [操作]，操作除了上面的 info 之外，常用的还有 list、download、upload。
# 查看文件
bypy list
# 上传文件
bypy upload [localpath] [remotepath]
# 下载文件
bypy downfile <remotefile> [localpath]
# 下载文件夹
bypy downdir [remotedir] [localdir]
# 取消授权
bypy -c
注意：下载转存的文件需要放置在 我的应用数据 下的 bypy 文件夹中。
4. Aria2 加速
默认情况下 bypy 没有调用 aria2 下载，此时下载速度不能最大化，因此需要先配置 aria2。bypy 默认配置的 aria2 使用 4 个连接数下载，可以修改成最大的 16。此处可以使用参数 --downloader aria2 让 bypy 调用 aria2 下载，--downloader-arguments 来设置 aria2 的参数，默认为 '-c -k10M -x4 -s4 --file-allocation=none'。
bypy --downloader aria2 download <remotefile> [localpath]
bypy --downloader aria2 download [remotedir] [localdir]
# 修改参数使速度最大化
bypy --downloader aria2 --downloader-arguments='-c -k10M -x16 -s16 --file-allocation=none' download <remotefile> [localpath]
参考
- 『 百度网盘下载之bypy』 有槽必吐 - 不吐槽，毋宁死 (tsukkomi.org)：https://tsukkomi.org/post/download-baidu-pan-with-bypy
- Centos系统下bypy+aria2下载百度网盘实现百度云转存方案 - 天下无鱼-资源博客 (shikey.com)：https://shikey.com/2020/07/10/baidu-to-google-drive-onedrive.html
