利用阿里云OSS定期备份网站

scadm 2021年4月25日00:17:52
评论
368 3562字

博客之前一直采用的是本地备份方式,如果本地硬盘故障了那么数据也就都没了。在偶然的一天看了张戈博客的文章《Python+Shell脚本结合阿里云OSS对象存储定时远程备份网站》,阿里云ECS到阿里云OSS可以走内网,正好我也是用的阿里云ECS,因为于是就开始折腾。

0x01  OSS配置

1. 登录阿里云控制台,开通OSS,然后新建一个Bucket(名称自定义),注意选择ECS相同的区域(比如青岛的ECS我就选择华北1),并且选择私有读写权限

利用阿里云OSS定期备份网站

2. 创建认证秘钥

利用阿里云OSS定期备份网站

3. 开始授权

利用阿里云OSS定期备份网站

4. 创建得到的密钥最好保存一份,如果忘记了可以到《控制台》查找。

利用阿里云OSS定期备份网站

0x02  SDK脚本

SDK脚本可以参考OSS帮助文档,根据自己熟悉的语言选择。我这边使用的是Python SDK。

1. 安装SDK

OSS的Python SDK需要用到oss2插件,如果服务器上已经安装了pip工具,可直接执行如下命令安装oss2插件

$ pip install oss2

如果服务器没有pip工具则需要先安装,再安装oss2

$ yum install python-pip -y

验证oss版本

$ python
>>> import oss2
>>> oss2.__version__
'2.2.2'

上面的输出表明您已经成功安装了特定版本的Python SDK(这里以版本2.2.2为例)。

2. 上传脚本

官方代码请参考Python SDK

下面是我自己使用的上传脚本

# -*- coding: utf-8 -*-
from __future__ import print_function
import os, sys
import oss2
#输入AccessKeyId和AccessKeySecret
auth = oss2.Auth('<AccessKeyId>', '<AccessKeySecret>')
#输入Endpoint和Bucket名
bucket = oss2.Bucket(auth, '<Endpoint>', '<Bucket名>')
#本地文件路径
filePath = sys.argv[1]
#传到OSS上的名称
fileName = filePath.split("/")[-1]
#上传进度条
def percentage(consumed_bytes, total_bytes):
if total_bytes:
rate = int(100 * (float(consumed_bytes) / float(total_bytes)))
print('r{0}% '.format(rate), end='')
sys.stdout.flush()
#上传文件
bucket.put_object(fileName, filePath, progress_callback=percentage)
print('rUpload to OSS Success!')

使用方法:将上述代码保存为 upload.py,并上传到服务器/usr/local/bin下,执行如下命令可开始上传文件到OSS

$ python /usr/local/bin/upload.py yangfannie.tar.gz /cache1/backup/yangfannie.com_3.tar.gz
#提示Upload to OSS Success!即上传成功

在OSS的Object界面就可以看到刚上传的文件了

利用阿里云OSS定期备份网站

0x03  定时备份

这边用shell写的7天循环备份脚本

#!/bin/bash
test -f /etc/profile && . /etc/profile > /dev/null 2>&1
#获取脚本所在的目录
baseDir=$(cd $(dirname $0) && pwd)
#获取zip版本,如果没有则安装
zip --version > /dev/null || yum install -y zip
#获取下面的命令执行的位置
ZIP=$(which zip)
PYTHON=$(which python)
MYSQLDUMP=$(which mysqldump)
#获取星期几
TODAY=`date +%u`
# OSS上传文件函数
uploadToOSS()
{
$PYTHON $baseDir/upload.py $1
}
#7天循环备份DB脚本
backupDB()
{
domain=$1
dbname=$2
mysqluser=$3
mysqlpd=$4
back_path=$5
test -d $back_path || (mkdir -p $back_path || echo "$back_path not found!" && exit 2)
cd $back_path
$MYSQLDUMP -u$mysqluser -p$mysqlpd $dbname --skip-lock-tables --default-character-set=binary >$back_path/$domain_db_$TODAY.sql
test -f $back_path/$domain_db_$TODAY.sql || (echo "MysqlDump failed!" && exit 2)
#ZIP压缩,密码为12345678,密码可自行修改
$ZIP -P12345678 -m $back_path/$domain_db_$TODAY.zip $domain_db_$TODAY.sql && 
#上传到OSS
uploadToOSS $back_path/$domain_db_$TODAY.zip
}
#7天循环备份网站脚本
backupFile()
{
domain=$1
site_path=$2
back_path=$3
test -d $site_path || (echo "$site_path not found!" && exit 2)
test -d $back_path || (mkdir -p $back_path || echo "$back_path not found!" && exit 2)
test -f $back_path/$domain_$TODAY.zip && rm -f $back_path/$domain_$TODAY.zip
$ZIP -P1234qaz! -9r $back_path/$domain_$TODAY.zip $site_path && 
uploadToOSS $back_path/$domain_$TODAY.zip
}
while [ $1 ]; do
case $1 in
'--db' | 'db' )
backupDB $2 $3 $4 $5 $6
exit
;;
'--site' | 'site' )
backupFile $2 $3 $4
exit
;;
esac
done

执行命令:

#赋予脚本执行权限
$ chmod +x /usr/local/bin/backup.sh
#备份DB并上传OSS(参数依次为:db、域名、数据库名称、数据库用户名、对应密码、备份路径)
$ /usr/local/bin/backup.sh db yangfannie.com yangfannie root 12345678 /cache1/backup
#备份网站并上传OSS(参数依次为:site、域名、网站根目录、备份路径)
$ /usr/local/bin/backup.sh site yangfannie.com /home/www/yangfannie.com/ /cache1/backup/

最后把命令加到排程去定时执行即可

0 4 * * * /usr/local/bin/backup.sh site yangfannie.com /home/www/yangfannie.com/ /cache1/backup/ >/dev/null 2>&1
0 5 * * * /usr/local/bin/backup.sh db yangfannie.com yangfannie root 12345678 /cache1/backup >/dev/null 2>&1

0x04  Q&A

1. ErrorCode: AccessDenied ErrorMessage: You have no right to access this object because of bucket acl.

原因:子用户/临时用户没有访问Object的权限

解决办法:辨别密钥是主用户、子用户还是临时用户的。需要用主用户的AccessKeyID。更多的权限问题请参考->[OSS 权限问题及排查]

临时的用户的密钥的AccessKeyID,以STS开头比较好辨认,如“STS.MpsSonrqGM8bGjR6CRKNMoHXe”。

主用户的密钥,需要到[控制台](https://ak-console.aliyun.com/?spm=5176.doc42777.2.8.M3gaJe) 查看AccessKeyID是否存在,如果存在说明是主用户;如果不存在,该用户是子用户。

子用户的秘钥在 访问控制 > 用户管理 > 管理 > 用户详情 > 用户AccessKey,查看子用户的AccessKeyID,并找到对应的子用户。

继续阅读
scadm
  • 本文由 发表于 2021年4月25日00:17:52
  • 转载请务必保留本文链接:https://www.wscyun.com/857
WordPress实现免插件的Sitemap功能 博客建设

WordPress实现免插件的Sitemap功能

之前一直用的是柳诚的Baidu SiteMap Generator插件,最近偶然看了张戈博客的一篇免插件时间sitemap功能,秉着插件能少就少的原则,立马着手更改,下面引用的是原博文章。   1、在...
个人站长网站定位,为什么他的网站能成功 博客建设

个人站长网站定位,为什么他的网站能成功

在这个互联网的时代有越来越多的人想要投入到网络淘金的热潮中来,做网站盈利无疑是很多个人站长的首选。可是今天的这个时代,成功并不容易,如果网站没有一个好的定位,没有一个好的运营策略基本很难在互联网上生存...
使用百度云加速为博客开启CDN加速 博客建设

使用百度云加速为博客开启CDN加速

最近把博客迁移到了阿里云的ecs服务器上(使用的最低配),CDN加速也顺便换成百度云加速试试效果,因为百度云加速有搜索引擎线路,可以单独为搜索引擎进行解析 一、设置NS 首先把域名的NS解析设置成百度...