Классы хранилищ Amazon S3

Amazon S3 предоставляет целый спектр классов хранилищ, что позволяет выбрать подходящий, исходя из требований рабочих нагрузок к типу доступа к данным, отказоустойчивости и стоимости. Классы хранилищ S3 отличаются минимальной стоимостью и предназначены для различных схем доступа. Классы хранилищ S3 – идеальный выбор для любых сценариев использования, в том числе для сред с озерами данных, неизвестными или непостоянными схемами доступа, архивным хранилищем, а также высокими требованиями к производительности и размещению данных.

Классы хранилищ S3 включают: S3 Intelligent-Tiering для автоматической экономии средств при использовании данных с неизвестными или непостоянными схемами доступа; S3 Standard для часто используемых данных; S3 Express One Zone для регулярно используемых данных; S3 Standard-Infrequent Access (S3 Standard-IA) и S3 One Zone-Infrequent Access (S3 One Zone-IA) для редко используемых данных; S3 Glacier Instant Retrieval для архивных данных, к которым требуется мгновенный доступ; S3 Glacier Flexible Retrieval (ранее – S3 Glacier) для редко используемых данных за длительный период, к которым не требуется мгновенный доступ; Глубокий архив Amazon S3 Glacier (S3 Glacier Deep Archive) для архивных данных за длительный период и цифровой архивации с извлечением за определенное количество часов в облачном хранилище с минимальной стоимостью.

Amazon S3 – самое надежное облачное хранилище. Благодаря уникальной архитектуре данные, хранящиеся в S3, защищены более чем на 99,999999999 % (11 девяток). Кроме того, S3 по умолчанию с избыточностью сохраняет данные как минимум в трех зонах доступности, предусматривая возможность встроенной устойчивости в условиях масштабной чрезвычайной ситуации. Клиенты могут хранить данные в одной зоне доступности, чтобы минимизировать затраты на хранение и задержку; в нескольких зонах доступности, чтобы обеспечить устойчивость к безвозвратной потере всего центра обработки данных; или в нескольких регионах AWS, чтобы удовлетворять региональным требованиям устойчивости. Если существующий регион AWS не соответствует требованиям к локализации данных, клиенты могут использовать хранилище класса S3 Outposts, чтобы хранить данные типа S3 локально.

Классы хранения S3 можно настроить на уровне объектов, чтобы одна корзина общего назначения содержала объекты из всех классов хранилищ, кроме S3 Express One Zone. Amazon S3 также предоставляет возможности управления данными в течение их жизненного цикла. После настройки политики жизненного цикла S3 ваши данные будут автоматически перемещаться в хранилище другого класса без внесения изменений в приложение. Корзины каталогов S3 допускают хранение объектов только в хранилище класса S3 Express One Zone, которое обеспечивает более быструю обработку данных в одной зоне доступности и не поддерживает политики жизненного цикла S3.

Класс S3 Standard предлагает высокую надежность, доступность и производительность объектного хранилища для хранения часто используемых данных. Обеспечивая низкую задержку и высокую пропускную способность, класс S3 Standard прекрасно подходит для различных сценариев использования, включая облачные приложения, динамические веб‑сайты, распространение контента, мобильные приложения и игры, а также аналитику больших данных. 

Основные функции

• Хранилище общего назначения для часто используемых данных
  
• Низкая задержка и высокая пропускная способность
• Хранилище разработано для обеспечения доступности на уровне 99,99 % в соответствии с условиями соглашения об уровне обслуживания на уровне 99,9 %
  

Amazon S3 Intelligent-Tiering (S3 Intelligent-Tiering) является первым облачным хранилищем, автоматически снижающим стоимость хранения на уровне конкретных объектов путем автоматического перемещения данных на наиболее экономичные уровни доступа исходя из частоты получения доступа к этим данным и без ущерба производительности, платы за извлечение и операционных расходов. S3 Intelligent-Tiering отличается миллисекундной задержкой и высокой пропускной способностью в разрезе данных, к которым часто, нечасто и редко требуется доступ, на уровнях Frequent, Infrequent и Archive Instant Access. Можно использовать S3 Intelligent-Tiering как класс хранилища по умолчанию для практически любой рабочей нагрузки, особенно для озер данных, аналитики данных, новых приложений и созданного пользователями контента.

За небольшую ежемесячную плату за мониторинг и автоматизацию объектов S3 Intelligent-Tiering выполняет мониторинг шаблонов доступа и автоматически перемещает объекты, которые не были доступны на более низких уровнях доступа. S3 Intelligent-Tiering автоматически сохраняет объекты на трех уровнях доступа: один уровень оптимизирован для данных, к которым часто требуется доступ, второй оптимизирован для данных, к которым нерегулярно требуется доступ, и дешевле на 40 %, а третий оптимизирован для данных, к которым редко требуется доступ, и дешевле на 68 %. S3 Intelligent-Tiering выполняет мониторинг шаблонов доступа и перемещает объекты, доступ к которым не осуществлялся в течение 30 дней подряд, на уровень Infrequent Access, а если доступ не осуществлялся более 90 дней – на уровень Archive Instant Access. Для данных, не требующих мгновенного извлечения, можно настроить для уровня S3 Intelligent-Tiering мониторинг и автоматическое перемещение объектов, доступ к которым не осуществлялся в течение 180 дней и дольше, на уровень Deep Archive Access, чтобы сэкономить до 95 % на хранении.

За извлечение данных из хранилища S3 Intelligent-Tiering плата не взимается. Если в дальнейшем запрашивается доступ к объекту на уровне Archive Instant Access, он автоматически перемещается на уровень Frequent Access. Если извлекаемый объект хранится на дополнительном уровне доступа Deep Archive, то перед извлечением объекта сначала необходимо восстановить копию с помощью RestoreObject.  Подробно о восстановлении архивированных объектов см. в разделе Восстановление архивированных объектов. При использовании класса хранилища S3 Intelligent-Tiering дополнительная плата за перемещение объектов между уровнями доступа также отсутствует.

Основные функции

• Автоматическое сокращение расходов для данных с неизвестной или непостоянной схемой доступа
  
• Уровни Frequent, Infrequent и Archive Instant Access отличаются низкой задержкой и высокой пропускной способностью, которые характерны для класса S3 Standard
  
• Благодаря уровню Infrequent Access можно сэкономить на хранении до 40 %.
  
• Благодаря уровню Archive Instant Access можно сэкономить на хранении до 68 %.
  
• Возможности переходной асинхронной архивации для редко используемых объектов.
  
• Уровень Deep Archive Access характеризуется такой же производительностью, что и класс Glacier Deep Archive, и позволяет экономить до 95 % на хранении редко запрашиваемых объектов
  
• Хранилище разработано для обеспечения доступности на уровне 99,9 % в соответствии с условиями соглашения об уровне обслуживания на уровне 99 %
  
• Небольшая ежемесячная плата за мониторинг и автоматизацию
• Никаких операционных затрат, никаких сборов за управление жизненным циклом, никакой платы за извлечение и никакой минимальной продолжительности хранения
• В S3 Intelligent-Tiering можно сохранять и объекты размером менее 128 КБ, но за них будет взиматься плата по тарифам уровня Frequent Access. Плата за мониторинг и автоматизацию не взимается.

Amazon S3 Express One Zone – это высокопроизводительный класс хранилищ с одной зоной доступности, специально разработанный для обеспечения стабильного доступа с быстродействием в несколько миллисекунд к регулярно используемым данным и приложениям, чувствительным к задержкам. S3 Express One Zone позволяет повысить скорость доступа к данным в 10 раз и снизить затраты на запросы на 50 % по сравнению с S3 Standard. Клиенты всегда могли выбрать определенный регион AWS для хранения данных S3, однако S3 Express One Zone позволяет хранить данные в определенной зоне доступности AWS в регионе AWS. Хранилище вместе с вычислительными ресурсами можно разместить в одной и той же зоне доступности для дальнейшей оптимизации производительности, снижения затрат на вычисления и ускорения выполнения рабочих нагрузок. Стоит отметить, что в S3 Express One Zone данные будут храниться в корзинах другого типа, а именно в корзинах каталогов Amazon S3, которые поддерживают сотни тысяч запросов в секунду. Кроме того, хранилища S3 Express One Zone можно использовать совместно с такими сервисами, как Обучение моделей Amazon SageMaker, Amazon Athena, Amazon EMR и каталог данных AWS Glue, для ускорения выполнения рабочих нагрузок машинного обучения и аналитики. Благодаря S3 Express One Zone хранилище автоматически масштабируется вертикально или горизонтально в зависимости от потребления и потребностей, что исключает необходимость в управлении несколькими системами хранения данных для рабочих нагрузок с малой задержкой.

Основные функции

• Высокопроизводительное хранилище для регулярно используемых данных
• Обработка запроса менее чем за 10 миллисекунд
• Увеличивает скорость получения доступа в 10 раз, сокращает затраты на обработку запросов на 50 % по сравнению с S3 Standard
• Выбрав зону доступности AWS, клиенты получат возможность совместного размещения ресурсов хранения и вычислительных ресурсов, чтобы значительно сократить задержки и время обработки, а также повысить эффективность использования вычислительных ресурсов для уменьшения общей совокупной стоимости владения
• Ускорьте аналитику и выполнение рабочих нагрузок машинного обучения с помощью интеграции сервисов AWS
• Масштабируйте, чтобы обрабатывать миллионы запросов в минуту
• Оптимизация для больших наборов данных с большим количеством небольших объектов
• Используйте существующие API-интерфейсы Amazon S3 с корзинами другого типа – корзинами каталогов
• Хранилище разработано для обеспечения доступности на уровне 99,95 % в соответствии с условиями соглашения об уровне обслуживания на уровне 99,9 %

Класс хранилища S3 Standard – IA является идеальным выбором для хранения данных, доступ к которым осуществляется относительно редко, но при этом должен обеспечиваться быстро. Хранилище S3 Standard – IA обеспечивает высокую надежность, высокую пропускную способность и низкие задержки хранилища S3 Standard одновременно с низкими ценами на каждый гигабайт хранилища и гигабайт извлеченных данных. Такое сочетание низкой стоимости и высокой производительности делает S3 Standard-IA идеальным решением для долгосрочного хранения данных, резервного копирования, а также хранения данных на случай аварийного восстановления файлов. Классы хранилища S3 можно настроить на уровне объектов, чтобы одна корзина содержала объекты из хранилищ S3 Standard, S3 Intelligent-Tiering, S3 Standard-IA и S3 One Zone-IA. С помощью политик жизненного цикла S3 также можно автоматически переносить объекты между классами хранилищ без каких-либо изменений в приложении.

Основные функции

• Редко используемые данные, к которым требуется мгновенный доступ
  
• Низкая задержка и высокая пропускная способность на уровне хранилища S3 Standard
• Хранилище разработано для обеспечения доступности на уровне 99,9 % в соответствии с условиями соглашения об уровне обслуживания на уровне 99 %
  

Класс хранилища S3 One Zone-IA является идеальным выбором для хранения данных, доступ к которым осуществляется относительно редко, но при этом должен обеспечиваться быстро. В отличие от других классов хранилища S3, которые хранят данные как минимум в трех зонах доступности, S3 One Zone – IA хранит данные только в одной зоне доступности и стоит на 20 % меньше S3 Standard-IA. Класс S3 One Zone – IA идеально подходит клиентам, которым требуется экономичное решение для хранения редко используемых данных и которым не нужна доступность и устойчивость, свойственные классам S3 Standard или S3 Standard – IA. Это хороший выбор для хранения вторичных резервных копий локальных данных или легко воссоздаваемых данных. Клиенты также могут использовать его для экономичного хранения данных, реплицируемых из другого региона AWS с помощью межрегиональной репликации S3.

Хранилище S3 One Zone-IA обеспечивает такую же пропускную способность и низкие задержки хранилища S3 Standard одновременно с низкими ценами на каждый гигабайт хранилища и гигабайт извлеченных данных. Технические решения S3 One Zone-IA аналогичны решениям региональных хранилищ S3: они также обеспечивают надежность, равную 99,999999999 % (11 девяток). Стоит отметить, что существует малая вероятность потери данных в случае полного или частичного повреждения или потери зоны доступности AWS. Классы хранилища S3 можно настроить на уровне объектов, чтобы одна корзина содержала объекты из хранилищ S3 Standard, S3 Intelligent-Tiering, S3 Standard-IA и S3 One Zone-IA. С помощью политик жизненного цикла S3 также можно автоматически переносить объекты между классами хранилищ без каких-либо изменений в приложении.

Основные функции

• Воссоздаваемые редко используемые данные
  
• Низкая задержка и высокая пропускная способность на уровне хранилища S3 Standard
• Хранилище разработано для обеспечения доступности на уровне 99,5 % в соответствии с условиями соглашения об уровне обслуживания на уровне 99 %
  

Классы хранилища Amazon S3 Glacier предназначены специально для архивации данных и отличаются максимальной производительностью, гибкостью при извлечении и минимальной стоимостью облачного архивного хранилища. Вы можете выбрать любой из трех классов хранилища для архивов, оптимизированных под разные шаблоны доступа и длительность хранения. Для архивных данных, к которым может потребоваться мгновенный доступ (например, в случае с медицинскими изображениями, ресурсами новостных мультимедиа или данными геномных исследований) лучше выбрать архивный класс хранилища S3 Glacier Instant Retrieval, который отличается минимальной стоимостью хранения и возможностью извлечения за несколько миллисекунд. Для архивных данных, к которым не требуется мгновенный доступ, но может потребоваться ситуативный доступ к огромным наборам данных без дополнительных затрат на их извлечение (например, для резервных копий и при аварийном восстановлении), лучше выбрать класс хранилища S3 Glacier Flexible Retrieval (который ранее назывался S3 Glacier), где поддерживается извлечение за несколько минут для небольших объемов и за 5–12 часов для больших пакетов. Чтобы сэкономить еще больше при длительном хранении архивных копий (например, для обеспечения соответствия требованиям или архивов цифровых СМИ), лучше выбрать класс хранилища S3 Glacier Deep Archive, который отличается минимальной стоимостью облачного хранилища и возможностью извлечения данных в течение 12–48 часов.

Amazon S3 Glacier Instant Retrieval представляет собой класс архивного хранилища, которое отличается минимальной стоимостью длительного хранения данных, доступ к которым требуется редко и которые необходимо извлекать за несколько миллисекунд. С S3 Glacier Instant Retrieval можно сэкономить до 68 % на хранении по сравнению с классом хранилищ S3 Standard-Infrequent Access (S3 Standard-IA), если доступ к вашим данным осуществляется раз в квартал. S3 Glacier Instant Retrieval обеспечивает самый быстрый доступ к архивному хранилищу с той же пропускной способностью и за то же количество миллисекунд, что и классы хранилищ S3 Standard и S3 Standard – IA. S3 Glacier Instant Retrieval прекрасно подойдет для архивных данных, требующих мгновенного доступа, как, например, архивы медицинских изображений, ресурсов новостных мультимедиа и созданного пользователями контента. Можно загружать объекты непосредственно в хранилище S3 Glacier Instant Retrieval либо же с помощью политик жизненного цикла S3 перемещать данные из классов хранилищ S3. Дополнительную информацию см. на странице с информацией о мгновенном извлечении данных Amazon S3 Glacier »

Основные функции

• Данные долговременного хранения, доступ к которым осуществляется несколько раз в год и предусматривает мгновенное извлечение
  
• Извлечение данных за несколько миллисекунд с такой же производительностью, что и в S3 Standard
• Хранилище разработано для обеспечения доступности на уровне 99,9 % в соответствии с условиями соглашения об уровне обслуживания на уровне 99 %
  
• Минимальный размер объекта: 128 КБ
• API S3 PUT для прямой загрузки в S3 Glacier Instant Retrieval и управление жизненным циклом S3 для автоматической миграции объектов
  

S3 Glacier Flexible Retrieval предоставляет экономичное хранилище, снижая затраты на 10 % (по сравнению с S3 Glacier Instant Retrieval) для архивных данных, которые нужно получать один или два раза в год в асинхронном режиме. Класс хранилища S3 Glacier Flexible Retrieval (ранее – S3 Glacier) прекрасно подойдет для архивных данных, к которым не требуется мгновенный доступ, но может потребоваться ситуативный доступ к огромным наборам данных без дополнительных затрат на их извлечение (например, для резервных копий и при аварийном восстановлении). S3 Glacier Flexible Retrieval обеспечивает наиболее гибкий баланс между стоимостью и скоростью доступа и позволяет извлекать данные, в том числе пакеты, за несколько минут или за несколько часов. Это идеальное решение для резервного копирования, аварийного восстановления, хранения данных за пределами организации или для других данных, которые нужно извлечь за несколько минут и на хранение которых нет смысла тратить много средств. S3 Glacier Flexible Retrieval обеспечивает надежность хранения данных на уровне 99,999999999 % (11 девяток) и доступность на уровне 99,99 % за год благодаря использованию размещения с избыточностью в нескольких физически удаленных зонах доступности AWS. Дополнительную информацию см. на странице о классах хранилищ Amazon S3 Glacier »

Основные функции

• Резервное копирование и архивирование редко используемых данных с низкими затратами
• Хранилище разработано для обеспечения доступности на уровне 99,99 % в соответствии с условиями соглашения об уровне обслуживания на уровне 99,9 %
  
• Поддержка SSL для данных в движении и при шифровании данных в местах хранения
• Прекрасно подходит для резервного копирования и аварийного восстановления, когда необходимо ситуативное извлечение больших наборов данных за несколько минут без дополнительных затрат.
  
• Настраиваемое время извлечения – от нескольких минут до нескольких часов – и возможность пакетного извлечения.
• API S3 PUT для прямой загрузки в S3 Glacier Flexible Retrieval и управление жизненным циклом S3 для автоматической миграции объектов
  

S3 Glacier Deep Archive – это самый экономичный класс хранилища Amazon S3 с поддержкой долгосрочного хранения и цифровой архивации данных, доступ к которым запрашивается один‑два раза в год. Он создан для клиентов, которые хранят наборы данных 7–10 лет или дольше для выполнения нормативных требований. Это особенно актуально для клиентов, которые работают в отраслях с высоким уровнем регулирования, таких как здравоохранение, финансовый и государственный секторы. S3 Glacier Deep Archive также можно использовать для резервного копирования и аварийного восстановления. Это экономичная и удобная в управлении альтернатива системам на основе магнитной ленты при использовании как в качестве локальных библиотек, так и в качестве внешних сервисов. S3 Glacier Deep Archive дополняет хранилище Amazon S3 Glacier, идеально подходящее для архивов, данные в которых извлекаются регулярно, причем иногда требуются за считаные минуты. Все объекты, хранимые в S3 Glacier Deep Archive, реплицируются и хранятся по крайней мере в трех географически распределенных зонах доступности с уровнем надежности 99,999999999 %. Восстановление выполняется в течение 12 часов. Дополнительную информацию см. на странице о классах хранилищ Amazon S3 Glacier »

Основные функции

• Исключительно редко используемые архивные данные с крайне низкими затратами
  
• Хранилище разработано для обеспечения доступности на уровне 99,99 % в соответствии с условиями соглашения об уровне обслуживания на уровне 99,9 %
  
• Идеальная альтернатива библиотекам магнитных лент
  
• Время извлечения в пределах 12 часов
  
• API S3 PUT для прямой загрузки в S3 Glacier Deep Archive и управление жизненным циклом S3 для автоматического переноса объектов
  

Amazon S3 on Outposts предоставляет возможности хранения объектов в вашей локальной среде AWS Outposts. С помощью API S3 и функций, доступных в регионах AWS, S3 on Outposts существенно упрощает хранение и извлечение данных на вашем экземпляре Outpost, а также повышает защищенность данных, предоставляет более эффективные средства управления, маркировки и составления отчетности. S3 on Outposts предоставляет единственный класс хранилища Amazon S3 под названием «OUTPOSTS»: для него используются API S3, а сам класс предназначен для надежного хранения данных с избыточностью одновременно на нескольких устройствах и серверах вашего экземпляра Outposts. Класс хранилища S3 Outposts идеально подходит для рабочих нагрузок с необходимостью локализации данных и для удовлетворения высоких требований к производительности благодаря хранению данных в непосредственной близости к локальным приложениям.

Основные функции

• Совместимость с корзиной S3 и управление корзинами с помощью S3 SDK
• Нацеленность на надежное и избыточное хранение данных на ваших экземплярах Outposts
• Шифрование с применением SSE-S3 и SSE-C
• Аутентификация и авторизация с использованием точек доступа S3 и IAM
• Передача данных в регионы AWS с помощью AWS DataSync
• Выполнение необходимых действий по окончании жизненного цикла S3
  

* При использовании S3 Intelligent-Tiering взимается небольшая сумма за мониторинг и автоматизацию, а минимальный допустимый размер объекта для автоматического распределения по уровням составляет 128 КБ. Можно сохранять и более мелкие объекты, но за них будет взиматься плата по тарифам уровня Frequent Access. Плата за мониторинг и автоматизацию не взимается. Подробнее см. на странице цен на Amazon S3. Стандартное извлечение на уровне Archive Access и Deep Archive Access осуществляется бесплатно. Чтобы ускорить получение доступа к данным на уровне Archive Access, можно заплатить за ускоренное извлечение, используя консоль S3. Задержка первого байта в классе S3 Intelligent-Tiering для уровней частого и редкого доступа составляет миллисекунды, тогда как задержка первого байта для уровней доступа к данным долгосрочного хранения и архивации составляет минуты или часы.

В маловероятном случае частичной или полной потери или повреждения зоны доступности AWS данные в классе хранилища One Zone могут быть потеряны. Например, при пожаре или повреждении вследствие контакта с водой. За исключением таких маловероятных случаев, технические решения классов хранилищ, размещенных в одной зоне, аналогичны решениям региональных хранилищ: они также защищают объекты от независимых сбоев на уровне дисков, хостов и стоек, при этом каждое решение обеспечивает надежность данных на 99,999999999 %.

*** Гибкое извлечение данных S3 Glacier и глубокий архив S3 Glacier требуют 40 КБ дополнительных метаданных для каждого архивированного объекта. В них входят 32 КБ метаданных, за которые взимается плата по тарифу за Гибкое извлечение данных S3 Glacier и которые нужны для идентификации и извлечения ваших данных. За остальные 8 КБ данных взимается плата по стандартному тарифу на S3. Они нужны, чтобы хранить определенное пользователем имя и метаданные для объектов, архивированных в сервисе Гибкого извлечения данных S3 Glacier.