怎么通过curl命令上传文件到OSS

怎么通过curl命令上传文件到OSS,第1张

python SDK中带了一并则个osscmd脚本,实现了大部分的OSS对外提供的接口功能,肯定比curl来得简单。

比如上传一个文件

python osscmd put /your-file-path oss://你的bucket名字/

还支绝缓棚持上传目录,同时支持指定多个线程同哪森时上传

python

osscmd uploadfromdir localdir oss://bucket/[prefix]

--check_point=check_point_file --replace=false --check_md5=false

--thread_num=5

如果用命令行的话,oss python sdk带的osscmd绝对是个好东东。

python SDK带osscmd脚本实现部OSS外提供接口功能肯定氏哗差比curl简单

比传文件:

python osscmd put /your-file-path oss://bucket名字/

支持传目录歼皮同芦州支持指定线程同传

python

osscmd uploadfromdir localdir oss://bucket/[prefix]

--check_point=check_point_file --replace=false --check_md5=false

--thread_num=5

用命令行oss python sdk带osscmd绝东东

第一步:将我们数据库备份到某目录下,注明时间:

运行备份脚本(注意在备份目录下,我的在/home/dbback/下)

查看目录是否生成备份文件,心细的同学可能发现我这个mysqldump没有指定用户名和密码,为啥我运行的时候费用输入密码呢?莫着急,马上为你揭晓答案,因为mysql5.6后(具体版本编号不记得了),如果你把密码写到脚本里,运行会有警告,告诉你不要把密码写到脚本里,会有危险,那我的小伙伴该怎么办呢,官方给了解决方案,期望你是配置到my.cnf文件中,所以,现在打开你的my.cnf,加入如下字段:

有了以上这两条,运行脚本时就不会在提示要输入密码了,马上冲大碰测试下,看是否成功,如果没问题,我们进入下一步。

第二步:如何自动备份到oss中,开始前我们要做两件事,

1、登录阿里云控制台,点右上“管理控制台”,然后点左上“产品与服务”,在第二列中点击“对象存储OSS”,如果散谈没开通就要开通,如果开通了直接点击右上的“新建bucket”,来创建一个bucket,记住buket的名字。(注:其实通过api也是可以直接创建bucket的,因为这个 *** 作不多,所以我就用仿尺控制台来创建了,降低理解的难度。)

2、开始写上传脚本,因为要导入oss的sdk,所以要下安装下,比较简单,跟安装其他python包没啥区别,解压进入目录,然后运行python setup.py install 就安装完毕了,接下来看我们如何使用它,全部代码如下:

#!/usr/bin/python env

#autor:glacier

#date:2015-11-16

import os,os.path,time

import operator

import time

from oss.oss_api import *

prefix = '/home/dbback'

logtime = time.strftime(time.ctime())

#filelist = [ file for file in os.listdir(os.path.dirname(os.path.abspath(__file__))) if os.path.isfile(file) ]

filelist = [ file for file in os.listdir(prefix) if os.path.isfile(prefix + '/' + file) ]

def get_time(filename):

ft = os.stat(filename)

return ft.st_ctime

#def get_max():

#flist = []

#for file in filelist:

#flist.append(os.stat(file).st_ctime)

#return max(flist)

def get_dist():

d = {}

for file in filelist:

d[file] = get_time(prefix + '/' + file)

return d

if __name__ == '__main__':

#maxtime = get_max()

d = get_dist()

#dic= sorted(d.iteritems(), key=lambda d:d[1], reverse = True)

upfile = max(d.iteritems(), key=operator.itemgetter(1))[0]

endpoint = "your aliyun endpoint"

accessKeyId, accessKeySecret="your accessKeyId","your accessKeySecret "

oss = OssAPI(endpoint, accessKeyId, accessKeySecret)

res = oss.put_object_from_file("bucketname",upfile,prefix + '/' + upfile)

if res.status != 200:

with open('/var/log/dbback.log', 'a+') as f:

f.write(logtime + ' back failed' + '\n')

我们接下来分析下脚本内容,其中脚本中注释的行都不用看,是我编写过程中测试用的,最开始我们设定了备份文件的目录和记录日志的时间,然后生成了一个备份目录所有文件的列表(列表其实不是最好的方式,我是用最简单的方式了,因为文件多了,列表会慢),然后定义了两个函数,get_time()函数是获取文件的创建时间戳,get_dist()函数是获取文件名和时间戳的字典,主函数部分比较难理解的根据字典value排序获得文件名了,d.iteritems()获得字典中的每个key,value对,key指定了一个函数,operator.itemgetter(1)表示用value来排序(因为就两个元素,key 是0,value就是1了),就是时间戳,排序完后返回key,最后的[0]做了这个工作,脚本其它部分的内容我就不多说了,都是很常见的用法,没什么难于理解的,好,脚本就介绍到这里,接下来进入我们最后一步。

第三步:将脚本写入crontab中,具体什么时候执行,就根据大家各自业务不同来设置了,没什么特别的。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/tougao/12154552.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-21
下一篇 2023-05-21

发表评论

登录后才能评论

评论列表(0条)

保存