AWS 기술 블로그

데이터는 현대 비즈니스의 핵심 자산이며, 기업은 이를 문서, 보고서, 계약서 등 다양한 형태의 정보로 변환하여 보유하고 있습니다. 그리고, 이러한 정보의 상당수는 PDF 와 같은 문서 형식으로 저장되어 있습니다. PDF는 문서 공유와 보전에는 편리하지만, 내부 데이터를 추출하고 가치 있는 인사이트를 도출하기에는 다양한 기술적 접근이 고려되어야 합니다. PDF 파일에서 데이터를 추출할 때, 추출 대상이 스캔 된 이미지인 […]

검색 증강 생성 (Retrieval-Augmented Generation, RAG)은 대규모 언어 모델 (Large Language Model, LLM)과 효율적인 데이터 검색 기능을 결합하여 정확하고 관련성 높은 응답을 생성하는 유망한 생성형 AI 기술입니다[1, 2]. RAG 방식은 최신 정보를 반영함으로써 답변의 부정확성이나 환각을 줄일 수 있어 많은 사용자들의 관심을 받고 있습니다. 그러나 RAG 시스템이 다양한 자연어 처리 작업에서 인상적인 성능을 보임에도 불구하고보다 […]

한때 AI 엔지니어와 많은 연산 자원이 있어야 가능했던 다양한 자연어 처리 작업(task)을 대규모 언어모델(LLM)에 프롬프트 명령 한 줄을 입력하는 것만으로 가능해진 시대가 됐습니다. 텍스트 분류 혹은 QA, 요약, 스타일 변환, 기계번역과 같은 전통적인 자연어 처리 작업들에서 뿐만 아니라 코딩, 수학 문제풀이와 같은 추론 능력이 필요한 작업들에서까지 놀라운 성능을 보이고 있습니다. Claude3 와 GPT4 같은 고성능의 LLM을 […]

이 글은 애플리케이션 계층을 포함한 데이터베이스 변경 사전 테스트의 중요성과 사전 테스트를 위한 아키텍처를 소개합니다. 특히 Amazon Aurora의 Blue/Green Deployment를 핵심으로 CQRS(Command Query Responsibility Segregation) 패턴과 Amazon Route53의 트래픽 흐름(Traffic Flow)과 트래픽 정책(Traffic Policy)을 활용한 아키텍처를 다룹니다. Amazon Aurora는 MySQL 및 PostgreSQL과 호환되는 완전 관리형 관계형 데이터베이스이며, 일반적인 데이터베이스 유지보수 작업(백업 및 복구, 패치 등)은 […]

이 글은 AWS Database Delivery Blog에 게시된 Introducing Valkey GLIDE, an open source client library for Valkey and Redis open source by Asaf Porat Stoler and Mickey Hoter 을 한국어 번역 및 편집하였습니다. 오픈 소스(Apache 2.0 라이센스) Valkey 클라이언트 라이브러리인 Valkey General Language Independent Driver for the Enterprise(GLIDE)를 소개합니다. Valkey는 캐싱, 세션 저장소, 순위표 및 […]

이 글은 AWS Database Delivery Blog에 게시된 Understanding Amazon Aurora MySQL storage space utilization by Raunak Gupta 을 한국어 번역 및 편집하였습니다. Amazon Aurora는 고급 상용 데이터베이스의 성능, 확장성 및 가용성을 제공하는 동시에 오픈 소스 데이터베이스의 단순성과 비용 효율성을 제공하도록 설계된 완전관리형 관계형 데이터베이스 서비스입니다. Amazon Aurora MySQL-Compatible Edition은 MySQL과 상호 호환되므로 이미 MySQL 기술을 […]

AWS 클라우드 환경에서의 고가용성 구조에 적용할 수 있는 장애 조치 구현 방법은 다양합니다. 예를 들어 Amazon RDS와 같은 여러 AWS 서비스들은 도메인 이름 시스템(Domain Name System, DNS)을 이용하여 DNS 레코드의 IP 주소를 변경하는 방법으로 장애 조치를 수행합니다. 하지만, DNS를 기반으로 하는 장애 조치 방법은 해당 시스템에 접근하고자 하는 외부 시스템이 레거시 소프트웨어나 하드웨어 장비와 같이 […]

PostgreSQL Page, Fillfactor, Heap-only-Tuple란? PostgreSQL의 테이블과 인덱스는 8KB 크기의 페이지에 데이터를 저장합니다. 각각의 페이지에는 헤더 영역인 24bytes 크기의 PageHeaderData와 실제 데이터를 포인팅하는 ItemIdData 라는 포인터, 그리고 아직 아무것도 할당되지 않은 FreeSpace와 실제 데이터가 저장되는 Items 으로 구성됩니다. INSERT나 UPDATE 통해 아이템이 추가되면 페이지의 FreeSpace 끝 부분부터 순서대로 쌓이게 됩니다. 테이블과 인덱스에는 Fillfactor라는 스토리지 속성이 있습니다. […]

많은 엔터프라이즈 기업들이 R&D 활동에 필수적인 CAE(Computer Aided Engineering) 및 CAD(Computer Aided Design) 워크로드 작업을 위하여, 데이터센터 또는 전산실에 HPC(High Performance Computing) 및 eVDI(engineering VDI) 환경을 구축하여 사용하고 있습니다. 그러나 이렇게 온프레미스(on-premise) 환경에 구축되는 인프라 환경들은 비용, 성능, 운영 편의성 등의 측면에서 많은 제약사항을 가지고 있습니다. 이에 따라 최근에는 사용량 기반의 합리적인 과금 및 탄력적인 […]

Sendbird는 채팅, 음성/비디오 콜, In App Notification, AI Chatbot등의 메세징/커뮤니케이션 플랫폼을 통해 고객의 비즈니스에 가치를 제공하는 글로벌 SaaS 기업입니다. Sendbird는 전 세계 10개 AWS Region을 통해 매달 3억명의 사용자가 생성하는 70억건의 메세지를 Amazon Aurora MySQL을 활용해 처리하고 저장하고 있습니다. 이번 게시글에서는 Sendbird가 대용량 Amazon Aurora MySQL을 어떻게 효율적으로 관리하고 운영하는지 알아봅니다. Amazon Aurora MySQL 대용량 […]