Что такое объектное хранилище?
Объектное хранилище – это технология хранения и управления данными в неструктурированном формате, называемом объектами. В современных организациях производятся и анализируются большие объемы неструктурированных данных, таких как фотографии, видео, электронные письма, веб-страницы, сенсорные данные и аудиофайлы. Облачные объектные системы хранения распределяют эти данные по множеству физических устройств, при этом предоставляя пользователям возможность доступа к контенту из единого репозитория виртуального хранилища. Решения объектных хранилищ идеально подходят для разработки облачных приложений, для которых требуется гибкость и возможность масштабирования. Кроме того, эти хранилища можно использовать для импорта данных из существующих хранилищ с целью аналитики, резервного копирования или архивации.
Метаданные имеют решающее значение для технологии объектного хранения. В объектных хранилищах объекты хранятся в одной корзине, а не в виде файлов в папках. Вместо этого объектное хранилище объединяет фрагменты данных, из которых состоит файл, добавляет в него все соответствующие метаданные и прикрепляет пользовательский идентификатор. Так создается плоская структура, которая называется корзиной, в противовес иерархической или многоуровневой структуре хранилища. Такая структура позволяет извлекать из корзины и анализировать любой объект (вне зависимости от типа файла) на основании его функций и характеристик.
Объектное хранилище – идеальное хранилище для озер данных, поскольку оно обеспечивает архитектуру для хранения массивных объемов данных в виде отдельных единиц или объектов, метаданные которых предоставляют им уникальный идентификатор для простого доступа. Эта архитектура устраняет ограничения масштабирования, присущие традиционным хранилищам, и именно поэтому объектное хранилище является облачным.
Основными преимуществами объектных хранилищ являются практически неограниченные возможности масштабирования и низкая стоимость хранения больших объемов данных для таких примеров использования, как озера данных, облачные приложения, аналитика, файлы журналов и машинное обучение. Кроме того, объектное хранилище обеспечивает большую надежность и устойчивость данных благодаря хранению объектов на нескольких устройствах, в нескольких системах и даже в нескольких центрах обработки данных и регионах. Это позволяет достичь практически неограниченной масштабируемости, а также повысить устойчивость и доступность данных.
Почему объектное хранилище настолько важно?
По мере роста бизнеса организации управляют быстро растущими, но изолированными пулами данных из многих источников, которые используются любым количеством приложений, бизнес-процессов и конечных пользователей. Сегодня основная часть этих данных является неструктурированной и хранится в различных форматах и на разных носителях, из-за чего такие данные нелегко помещать в центральные репозитории. Это усложняет работу и замедляет развитие, поскольку они являются недоступными для анализа, машинного обучения или использования в новых облачных приложениях. Объектное хранилище позволяет решить эти проблемы за счет предоставления масштабируемого в большом диапазоне и доступного по цене хранилища данных любого типа в исходном формате. Объектное хранилище позволяет решить эти проблемы и устранить ограничения, связанные с традиционными системами хранения данных, обеспечивая неограниченные возможности масштабирования по низкой цене за гигабайт.
В объектном хранилище можно централизованно управлять неструктурированными данными, пользуясь удобным прикладным интерфейсом. Кроме того, можно использовать политики для оптимизации затрат на хранение данных и автоматически по необходимости переходить на другие уровни хранения. С помощью облачного объектного хранилища гораздо легче выполнять анализ и получать аналитическую информацию для оперативного принятия решений.
Поскольку объекты могут храниться в локальной среде, объектное хранилище создано для облака и обеспечивает практически неограниченные возможности масштабирования, высокую надежность и экономическую эффективность. Благодаря облачному объектному хранилищу можно легко получать доступ к данным отовсюду.
Каковы примеры использования объектных хранилищ?
Клиенты используют объектное хранилище для широкого круга решений. Ниже представлены типичные примеры использования.
Аналитика
Вы можете собирать и хранить практически неограниченное количество данных любого типа в облачном объектном хранилище и выполнять анализ больших данных для получения ценной информации о бизнес-операциях, клиентах и рынке, который вы обслуживаете.
Озеро данных
Озеро данных работает на базе облачного объектного хранилища, которое обладает практически неограниченными возможностями масштабирования и способно обеспечивать высокую надежность хранения данных. Вы можете легко увеличивать объем хранилища от нескольких гигабайтов до петабайтов контента, не прерывая работу, и платить только за то, чем пользуетесь. Оно обладает масштабируемой производительностью, простым в использовании функционалом, встроенным шифрованием и возможностями управления доступом.
Данные оптимизированных для облака приложений
Оптимизированные для облака приложения используют контейнерные и бессерверные технологии, чтобы отвечать ожиданиям клиентов и обеспечивать это соответствие быстро и гибко. Обычно эти приложения состоят из небольших и независимых компонентов со слабой взаимозависимостью, называемых микросервисами, которые взаимодействуют на внутреннем уровне, делясь друг с другом данными или состоянием. Сервисы облачного хранилища обеспечивают управление данными для таких приложений и предоставляют решения текущих проблем хранения данных в облачной среде. Объектное хранилище позволяет добавлять любое количество контента, а затем получать к нему доступ из любого местоположения. Благодаря этому вы сможете быстрее развертывать приложения и привлекать новых клиентов.
Архивирование данных
Облачное объектное хранилище отлично подходит для долговременного хранения данных. С его помощью можно заменить локальную инфраструктуру с архивами на ленточных накопителях и дисках такими решениями, которые обеспечивают улучшение надежности хранения данных, их мгновенное извлечение, повышение уровня безопасности, а также соблюдение нормативных требований и доступность данных для использования расширенной и бизнес-аналитики. Кроме того, вы можете без лишних затрат архивировать большое количество мультимедийного контента и хранить обязательные нормативные данные в течение длительных периодов времени.
Мультимедиа
Ускоряйте приложения и сокращайте расходы на хранение таких мультимедийных файлов, как видео, цифровые изображения и музыка. С помощью объектного хранилища можно создать экономично эффективные и глобально реплицируемые архитектуры для доставки мультимедиа распределенным пользователям, используя классы хранилищ и возможности репликации.
Резервное копирование и восстановление
В объектных системах хранения можно настроить репликацию контента, чтобы в случае сбоя в работе физического устройства были доступны дублированные устройства объектного хранения. Благодаря этому ваши системы и приложения будут работать без перебоев. Кроме того, данные можно реплицировать между несколькими центрами обработки данных и географическими регионами.
Машинное обучение
В процессе машинного обучения вы «обучаете» компьютер составлять прогнозы или генерировать логические выводы. Модели машинного обучения обучают с использованием алгоритмов, после чего их встраивают в приложения для генерирования логических выводов в режиме реального времени и в любом масштабе. Для машинного обучения требуется масштабное и экономично эффективное объектное хранилище, поскольку модели разработки обучаются, как правило, на миллионах или даже миллиардах элементов образцов данных и генерируют логические выводы всего за 20 миллисекунд.
Как облачное объектное хранилище соотносится с другими типами хранилищ?
Существует три типа облачных хранилищ: объектные, файловые и блочные. Каждый из этих типов идеально подходит для определенных случаев использования и требований к хранению.
Файловое хранилище
Многим приложениям требуется совместный доступ к файлам. Эта возможность поддерживается в сервисах сетевого хранилища данных (NAS). К основным протоколам файлового уровня относятся блок сообщений сервера (Server Message Block, SMB), который применяется в серверах Windows, и сетевые файловые системы (Network File Systems, NFS), используемые в инстансах Linux. Файловое хранилище лучше всего подходит для неструктурированных данных, крупных репозиториев контента, мультимедийных хранилищ, домашних каталогов и других файловых данных.
Сравнение объектного и файлового хранилищ
Основные различия между объектными и файловыми хранилищами заключаются в способах структурирования данных и возможностях масштабирования. В файловом хранилище данные хранятся в каталогах и папках, собранных в иерархическую структуру. Файловые хранилища следуют таким строгим файловым протоколам, как SMB, NFS или Lustre. Объектные хранилища основаны на плоской структуре и предоставляют доступ к объектам с метаданными через уникальные идентификаторы, благодаря чему их проще находить среди потенциально миллиардов других объектов.
Из-за этих различий в структуре файловые и объектные хранилища обладают разными возможностями масштабирования. Объектные хранилища обеспечивают огромную масштабируемость, поэтому способны работать с петабайтами информации и миллиардами объектов. Из-за присущей файловым хранилищам иерархической структуры данных они имеют ограниченные возможности масштабирования.
Блочное хранилище
Корпоративные приложения, например базы данных или системы планирования ресурсов предприятия (ERP), часто нуждаются в выделенном хранилище с низкими задержками для каждого хоста. Такое хранилище работает аналогично хранилищу с прямым подключением (DAS) или сети хранения данных (SAN). Решения облачных хранилищ на основе блоков выделяют хранилище для каждого виртуального сервера и обеспечивают сверхнизкую задержку для рабочих нагрузок, требующих высокой производительности.
Сравнение объектного и блочного хранилищ
Объектное хранилище лучше всего использовать для больших объемов неструктурированных данных, особенно когда надежность, неограниченное хранилище, масштабируемость и сложное управление метаданными являются важными факторами для общей производительности.
Блочное хранилище обеспечивает низкую задержку и высокую производительность в различных сценариях использования. Эти функции в первую очередь полезны для структурированного хранилища баз данных, томов файловой системы виртуальных машин и больших объемов нагрузок чтения и записи.
Как AWS может удовлетворить ваши потребности в объектном хранилище?
Простой сервис хранения данных Amazon (Amazon S3) – это сервис хранения объектов, предлагающий лучшие в отрасли показатели производительности, масштабируемости, доступности и безопасности данных. Компании любых размеров и из любых областей деятельности могут использовать Amazon S3 для хранения и защиты любых объемов данных в различных ситуациях, например для обеспечения работы озер данных, сайтов, мобильных приложений, для резервного копирования и восстановления, архивации, корпоративных приложений, устройств IoT и анализа больших данных. Amazon S3 предоставляет возможности управления, которые позволяют оптимизировать, организовать и настроить доступ к своим данным в соответствии с потребностями бизнеса или нормативными требованиями. Ниже перечислены некоторые преимущества Amazon S3.
Надежность, доступность и масштабируемость
Сервис Amazon S3 обеспечивает надежность хранения данных на уровне 99,999999999 %. Amazon S3 обеспечивает избыточное сохранение объектов на нескольких устройствах как минимум в трех зонах доступности в пределах региона Amazon S3. Сервис Amazon S3 способен выдержать единовременные сбои устройств за счет быстрого обнаружения и устранения любых потерь избыточности. Кроме того, он регулярно проверяет целостность данных с помощью контрольных сумм.
Безопасность и соответствие требованиям
Amazon S3 защищает данные благодаря возможностям по обеспечению безопасности, соблюдению требований и аудиту. Amazon S3 безопасен по умолчанию. Сразу после создания корзин Amazon S3 доступ к ним имеет только владелец. Он же полностью контролирует доступ других пользователей. Amazon S3 поддерживает аутентификацию пользователей для управления доступом к данным. Можно использовать механизмы управления доступом, такие как политики управления корзинами, для выборочного предоставления разрешений пользователям и группам пользователей. Кроме того, этот сервис соблюдает нормативы таких стандартов, как PCI-DSS, HIPAA/HITECH, FedRAMP, правило 17а-4 Комиссии по ценным бумагам США (SEC Rule 17a-4), директивы ЕС по защите данных и требования Федерального закона США об управлении информационной безопасностью (FISMA), чтобы помочь вам выполнить законодательные требования. AWS также поддерживает разнообразные возможности аудита, чтобы отслеживать запросы на доступ к вашим ресурсам в Amazon S3.
Гибкое управление
AWS предлагает очень гибкий набор возможностей для управления хранилищем и его администрирования. Администраторы хранилища могут классифицировать и визуализировать тенденции использования данных, а также составлять отчеты по ним, что позволяет снижать затраты и повышать уровень обслуживания. Объекты могут быть помечены с использованием уникальных настраиваемых метаданных, что позволяет видеть и контролировать использование, затраты и безопасность хранилища отдельно для каждой рабочей нагрузки. Инструмент S3 Inventory генерирует планируемые отчеты об объектах и их метаданных для проведения технического обслуживания, обеспечения соответствия требованиям и аналитики. Кроме того, Amazon S3 может анализировать шаблоны доступа к объектам для создания политик жизненного цикла, которые автоматизируют многоуровневое хранение, удаление и сохранение данных. Наконец, поскольку Amazon S3 совместим с AWS Lambda, клиенты могут регистрировать действия, определять оповещения и вызывать рабочие процессы – и все это без управления какой-либо дополнительной инфраструктурой.
Использование классов хранилищ для экономии
Amazon S3 предоставляет целый спектр классов хранилищ, что позволяет выбрать подходящий, исходя из требований рабочих нагрузок к типу доступа к данным, отказоустойчивости и стоимости. Классы хранилищ Amazon S3 отличаются минимальной стоимостью хранения и предназначены для различных шаблонов доступа. Вы платите только за то, чем пользуетесь. Взимаемая с вас плата зависит от размера ваших объектов, продолжительности хранения объектов в течение месяца и выбранного класса хранилища. Выберите подходящий класс хранилища Amazon S3 для рабочей нагрузки.
Эффективный анализ
Amazon S3 – это единственная платформа облачного хранилища, которая позволяет выполнять сложный анализ больших данных, не требуя их извлечения и перемещения в отдельную аналитическую систему. Клиенты, которые знают SQL, могут использовать Amazon Athena для анализа огромных объемов неструктурированных данных в Amazon S3 по требованию. Используя Amazon Redshift Spectrum, клиенты могут проводить сложный анализ эксабайтов данных в Amazon S3 и выполнять запросы, которые охватывают данные, хранимые как в Amazon S3, так и в хранилищах данных Amazon Redshift.
Крупнейшее сообщество клиентов и партнеров
У AWS миллионы активных клиентов и десятки тысяч партнеров по всему миру. Клиенты разного масштаба и практически любых отраслей, в том числе стартапы, крупные корпорации и государственные организации, используют AWS для самых разнообразных задач. В партнерскую сеть AWS (APN) входят тысячи системных интеграторов, специализирующихся на сервисах AWS, и десятки тысяч независимых поставщиков ПО (ISV), адаптирующих свои технологии для работы на AWS.
Создайте аккаунт AWS и начните работу с объектным хранилищем уже сегодня.
Объектное хранилище в AWS: дальнейшие шаги
Получите мгновенный доступ к уровню бесплатного пользования AWS.
