download files from qiniu

十月 28, 2018 0条评论 452次阅读 0人点赞

几个月前其实收到了七牛云的邮件通知，大概是逐步关闭测试域名啥的，也没在意，毕竟我是2014年开始使用七牛云的用户，也付过几百块账单，最近发现几个自定义的2级域名也陆续被关闭了，登陆管理后台发现无法下载，有些文件仅此一份，开始傻眼了，文件还是得想办法弄下来啊。找到一个帖子

https://www.heartnn.com/2018/10/09/batch-download-qiniu-files/

还好有https://github.com/qiniu/qshell 这种神器，支持批量复制到新的空间，然后批量下载到本地。

老规矩，自己做过的操作自己写一遍，免得其他博客某天消失了。

步骤1，先建一个新的bucket，例如download, 思路就是利用这个新的download来过渡，下载原来的其他bucket

步骤2，得到账号信息

qshell account AccessKey SecretKey 
这个信息在账号后台可以找到，我是在win10下执行这个命令的，会在用户目录下生成一个文件
C:\Users\daniel\.qshell\account.json

步骤3，执行 qshell 先查看自己目前有的 bucket

qshell buckets

发现我有 wanjie 这个老的bucket需要下载

步骤4，那么先得到wanjie原有的文件结构列表

qshell listbucket wanjie list.txt

注意处理这个list.txt 字符集为utf-8, 仅保留第一列的内容，这就是你所需要的文件目录结构，其余文件信息干掉。

步骤5，然后执行

qshell batchcopy wanjie download list.txt

，文件将全部复制到名为download的bucket中。

如果前面list.txt 行数特多，建议分拆，多执行几次，免得出现如下提示：“ 400 Bad Request和error message “key must not contain null byte”。”

步骤6、之后新建一个config.txt，内容大致如下：

{
"dest_dir" : "E:\\qiniu\\wanjie\\download",
"bucket" : "download",
"access_key" : "xxxxxxxxxxxxxxxxxxxxxxxxxx_xxxxxxxxxxxxx",
"secret_key" : "xxxxxxxxxx-xxxxxxxxxxxxxxxxx-xxxxxxxxxxx",
"cdn_domain" : "phb6zvtni.bkt.clouddn.com",
"is_private" : false,
"prefix" : "",
"suffix" : ""
}