Amazon S3对象储存
-
- 一、前言
- 二、Amazon S3 简介
- 三、为什么选择Amazon S3
- 四、部署环境
- 五、创建和删除存储桶
-
- 1.命名规则
- 2.创建和删除控制台
- 3.api创建和删除
- 六、上传图片
-
- 1.上传控制台
- 2.api上传与删除
- 七、加载图片
-
- 1.url加载图片
- 2.下载图片对象
- 八、踩坑体验
-
- 1.两种api
- 2.两个域名
- 九、总结
一、前言
亚马逊云技术提供了100多个免费包装。其中,计算资源Amazon EC2首年12个月免费,750小时/月;存储资源 Amazon S3 第一年12个月免费,5GB存储容量标准。
https://aws.amazon.com/cn/free/?nc2=h_ql_pr_ft&all-free-tier.sort-by=item.additionalFields.SortRank&all-free-tier.sort-order=asc&awsf.Free Tier Types=*all&awsf.Free Tier Categories=*all&trk=e0213267-9c8c-4534-bf9b-ecb1c06e4ac6&sc_channel=el
图片是我们日常开发中非常常用的文件,一般采用url加载的方式,有问题,远离服务器导致延迟,远离服务器的用户体验相对不是很好,有没有办法解决这个问题,接下来的介绍**Amazon S3(Simple Storage Service)**对象存储就是为了解决这个问题,文本即将开始。
二、Amazon S3 简介
可以将数据作为对象存储在存储桶中的对象存储服务。 对象是可以存储任何允许文件格式的最小单位,例如txt,png,apk等等。存储桶是物体的容器。存储数据 首先要创建一个存储桶,并指定存储桶的名称和 该区域最好选择生产环境的临近结点)。然后,数据将被用作 对象上传到存储桶。 每个对象都有一个键(包括路径名,会自动完成转换),它是桶内对象的唯一标识符(免费版本最多支持300个对象)。S3 提供个性化的设置需求。 例如,可以使用 版本控制将一个对象的多个版本保存在同一个存储桶中,以恢复意外删除或覆盖的对象。版本控制功能需要打开相关设置,默认不打开,消耗存储空间。存储桶中的对象默认为私有,只有在打开外部访问权限时才能访问。 存储桶策略可以使用, 访问控制问控制列表 和 访问点等管理访问。
三、为什么选择Amazon S3
全称Amazon Simple Storage Service 是AWS(Amazon Web Service)其中一种产品主要提供对象存储服务,那么为什么要选择呢?Amazon S3 呢?基于以下几种原因考虑
-
持久性高可靠对象设计
对象设计的耐久性达到19个9,即,也就是说,对象在1万年只会丢失一次
-
对象存储方案灵活
使用 作为默认存储类,基于访问频率,可以自动调整对象存储的方式,降低对象储存成本
-
保证数据安全
提供服务端加密、客户端加密和默认加密。默认情况下,您只能访问存储桶中的对象
-
支持批处理和跨区域复制
毫不夸张地说,可以通过同时操作数亿对象,支持将对象复制到其他区域
四、部署环境
-
依赖引入
这里以gradle的部署为例
implementation "software.amazon.awssdk:s3:2.17.172"
maven也差不多,这里就不演示了。
-
创建客户端
这个是s3对象存储中不可缺少的部分,这里简单配置,以后可以随时添加和更改
fun getS3client(): S3Client { //选择结点 val region = Region.AP_NORTHEAST_1 //登录凭证 val provider: AwsCredentialsProvider = StaticCredentialsProvider.create( AwsBasicCredentials.create( accessKeyId, secretAccessKey ) ) return S3Client.builder() .credentialsProvider(provider) .region(region) .build() }
和 可以进入个人设置里面的安全设置进行创建,可同时创建多个,但有一点需要注意,控制台不保存密钥,需要自己进行保存,会让你下载一个csv文件保存自己的密钥,当然其实也没关系,忘记了再创建一个,忘记的那个密钥要记得删除避免安全隐患
五、存储桶的创建与删除
1.命名规则
至少3个字符,至多63个字符,必须以字母或者数字作为结尾和开头,特殊字符仅支持
. 和 -
同时以下前缀和后缀不支持
前缀:xn--
后缀:-s3alias
最后要强调的一点是桶的名称在全部账户创建的桶中唯一的,即全球只会有一个!!
2.控制台创建和删除
-
打开官网
-
创建一个
这里有一些选项需要填写,应该不是很困难,有一点需要注意选择区域的时候最好选最近的节点进行桶的部署,推荐Tokyo结点,这里可能不同的地区会有一点限制,例如选择不了香港的结点,所以目前国内的访问还是比较慢的。
-
这里主要功能是图片访问,为了方便测试,修改成任何人都能访问,以下选项全部取消勾选,默认是全部勾选(安全保护考虑)
-
删除桶
点击delete即可删除
console 的操作都很简单,接下来介绍api的创建
3.api创建和删除
这个利用最新的api,几行代码就可以搞定
fun createBucket(s3Client: S3Client, bucketName: String) {
val bucketRequest = CreateBucketRequest.builder()
.bucket(bucketName)
.build()
s3Client.createBucket(bucketRequest)
}
这里利用创建桶的api构造一个request,传入桶名和客户端就可以了,这里默认屏蔽所有外来访问,也可以设置相关的acls进行开放,有兴趣可以查看官方demo了解一下
下面展示一下删除桶的代码,也是相当的简单
fun deleteBucket(s3Client: S3Client,bucketName: String){
val deleteRequest = DeleteBucketRequest.builder().bucket(bucketName).build()
s3Client.deleteBucket(deleteRequest)
}
六、上传图片
1.控制台上传
这个比较简单,点击upload即可上传文件
2.api上传与删除
api上传也很简单,简单配置一下参数就可以了
fun uploadObject(s3Client: S3Client,bucketName: String){
//上传对象的请求
//这里需要自己设置上传桶的名称和图片的路径
//img/hello.jpg即上传至img文件夹下的hello.jpg,若没有img文件夹则自动创建一个
val putObjectRequest = PutObjectRequest.builder().bucket(bucketName).key("img/hello.jpg").build()
//本地的文件
val file = File("C:\\Users\\user\\Desktop\\local.jpg")
//启用客户端开始上传
s3Client.putObject(putObjectRequest, RequestBody.fromFile(file))
}
api的删除也很容易,参数和上传差不多
fun deleteObject(s3Client: S3Client,bucketName: String,keyName:String){
//这里的keyName即创建时的key,相当于对象在桶中的相对位置
val deletedObjectRequest = DeleteObjectRequest.builder().bucket(bucketName).key(keyName).build()
s3Client.deleteObject(deletedObjectRequest)
}
七、加载图片
1.url加载图片
这个需要在图片对象那里开启public read的权限,开启之后就可以直接通过url进行访问图片了
这里的object url即对外开放的url
2.获取图片对象进行下载
这里用代码进行下载,当然如果是桶的owner,不需要进行权限处理即可访问
fun getObject(s3Client: S3Client,bucketName: String,keyName:String){
val getObjectRequest = GetObjectRequest.builder().bucket(bucketName).key(keyName).build()
//参数即本地存放路径
val file = File("C:\\Users\\user\\Desktop\\get.jpg")
s3Client.getObject(getObjectRequest,file.toPath())
}
八、踩坑经历
1.两种api
应该时amazon aws为了统一化风格,重写了java方面的api,这就导致了文档和网上的各种操作用的依赖不同,刚开始就是一头雾水,官网推荐使用新版的api,然而很多介绍性的文档还没更新是旧的api,有些又是新的api,刚开始的学习阶段很头疼。
//这里给出两种最新版本的依赖
//一个以.com开头,一个以software开头
implementation ("com.amazonaws:aws-java-sdk-s3:1.12.196")
implementation ("software.amazon.awssdk:s3:2.17.172")
不过这里还是推荐使用新版的api,风格形式真的相当简洁,会一种操作其他的也是一样
//以某某操作的request为参数
//然后通过链式调用完成request参数的配置
//最后调用s3Client完成request的具体操作
//下面这个删除仅仅只用了两行代码就完成了删除操作
val deleteRequest = DeleteBucketRequest.builder().bucket(bucketName).build()
s3Client.deleteBucket(deleteRequest)
2.两个域名
刚开始不知道原来amazon在国内也有网站,然后一直用的国外的网站,访问速度感人
- aws中国站
- aws官网
九、总结
亚马逊云科技提供了100余种产品免费套餐。其中,计算资源Amazon EC2首年12个月免费,750小时/月;存储资源 Amazon S3 首年12个月免费,5GB标准存储容量。
https://aws.amazon.com/cn/free/?nc2=h_ql_pr_ft&all-free-tier.sort-by=item.additionalFields.SortRank&all-free-tier.sort-order=asc&awsf.Free%20Tier%20Types=*all&awsf.Free%20Tier%20Categories=*all&trk=e0213267-9c8c-4534-bf9b-ecb1c06e4ac6&sc_channel=el
部署和实战的过程有些曲折,也有收获,部署最大的困难是文档的各异以及国内访问的速度的限制,然后最让人意外和欣慰的就是最后使用的api相当简洁和易用,感谢这套统一风格的,开发者友好型,下面给出主要的参考资料方便读者进一步探索更多高级的功能,类似加密处理,访问组控制,自带的tag进行查询等等,这里由于篇幅所限就不一一介绍了。
github参考样例
入门参考