暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Tech Camp | Amazon S3 高级功能解读:生命周期管理及 Amazon S3 Select 应用

西云数据云计算 2022-12-27
313




Amazon Simple Storage Service (Amazon S3) 是一种对象存储服务,可提供业界领先的可扩展性、数据可用性、安全性和性能。这意味着各种规模和行业的客户都可以使用它来存储和保护各种使用案例(例如湖内数仓、网站、移动应用程序、备份和还原、存档、企业级应用程序、IoT 设备和大数据分析)的任意量的数据。


除了低成本存储数据,支持云原生应用程序的运行,备份和还原关键数据,构建数据湖等基本功能之外,Amazon S3 还具备很多高级功能,例如生命周期管理、Amazon S3 Select、Amazon Athena、Amazon Object Lambda 等,以应对数据子集检索、报表生成、图片处理等需求。这些功能为用户基于 Amazon S3 创建更复杂的应用奠定了基础。


上期内容带大家解锁了 Amazon Lambda 函数应用(点击查看),本期继续学习基于 Amazon S3 生命周期管理的存储优化及使用 Amazon S3 select 筛选检索数据,精彩内容抢先看~



基于 Amazon S3 生命周期管理的存储优化

及使用 Amazon S3 select 筛选检索数据




解决方案




● 解决的问题
  • 帮助客户方便快速地对存储进行精细化管理。


  • 有效降低存储成本支出。

  • 加速基于 Amazon S3 数据湖的数据准备效率。

  • 减少对 Amazon S3 中数据摄取的成本。


● 优势
  • 有着极为良好的 UI,各种配置策略直观易懂,方便用户快速使用。

  • 能够结合对象版本管理进行配置。

  • 具有标准 SQL 语法,使用简单,方便非开发类用户快速上手。

  • 支持压缩格式的数据筛选,进一步降低了复杂性和成本。


● 工作原理

Amazon S3 提供了丰富的功能,其中之一是 Amazon S3 生命周期策略。使用 Amazon S3 生命周期策略可以在不同的存储类之间自动转移对象,实现存储的对象在整个生命周期内经济高效地存储而无需更改任何应用程序。


利用 Amazon S3 Select,您可以使用简单的结构化查询语言 (SQL) 语句筛选 Amazon S3 对象的内容,以便仅检索所需的部分数据。


Amazon S3 生命周期配置是一组规则,用于定义 Amazon S3 对一组对象应用的操作。有两种类型的操作:


  • 转换操作

定义对象转换为另一个使用 Amazon S3 存储类的时间。


例如,您可以选择在对象创建 30 天后将其转换为 Amazon S3 Standard-IA 存储类,或在对象创建 1 年后将其存档到 Amazon S3 Glacier 存储类。


  • 过期操作

定义对象的过期时间。Amazon S3 将代表您删除过期的对象。




通过使用 Amazon S3 Select 筛选此数据,您可以减少 Amazon S3 传输的数据量,这将减少检索此数据所需的成本和延迟。


Amazon S3 Select 适用于以 CSV、JSON 或 Apache Parquet 格式存储的对象。


它还使用通过 GZIP 或 BZIP2 压缩的对象(仅对于 CSV 和 JSON 对象)和服务器端加密的对象。可以将结果的格式指定为 CSV 或 JSON,并且可以确定结果中记录的分隔方式。







讲师介绍








■ 西云数据解决方案架构师
■ 近 10 年的 SAP 实施管理经验,曾就职于咨询公司,对于公司核心应用及应用集成架构方面有着丰富的经验。




推荐阅读

Tech Camp | 实操攻略!基于 Amazon S3 构建网站

Tech Camp | 基于 Amazon SageMaker 构建推荐系统

Tech Camp | 如何使用 Amazon SageMaker 构建图像识别平台



文章转载自西云数据云计算,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论