04.golden gate概览
- 1. 实时数据处理 － Oracle GoldenGate 孟和 渠道售前咨询顾问
- 2. 2 内容安排 GoldenGate作为Oracle战略产品的现状和地位 GoldenGate 产品常见应用和实施方案 高可用性支持和容灾恢复 实时数据集成 GoldenGate 的技术原理 抓取复制原理 检查点机制 多种可选择性配置 异构平台的适应性 GoldenGate Director 和Veridata
- 5. 5 GoldenGate 是Oracle的战略性产品 5 • 实时数据解决方案的行业领先者 • 和Oracle数据库的最佳集成融合 • 异构基础架构持续的高可用性 • 数据处理软件的强强联合 • 财富500强超过 400 客户和超过4,000例实施案例 : 金融 服务行业；电讯行业； 卫生； 公用事业和零售业 • 全球最大的5家商业银行中的3家 （60％） • 全球最繁忙的3家ATM网络（100％） • 全球最大的10家金融服务公司中的7家（70％） • 全球最大的5 家电信运营商中的4家（80％） • 在中国已经落地开花，开始大规模应用部署： • 国家海关总署 • 国家税务总局 • 国家体育总局体彩中心
- 6. 6 GoldenGate 产品– Transactional Data Management 事务数据 管理 GoldenGate TDM 提供了跨平台，异构系统上的实时事务数据的抓取，路由，传输，加载 和数据校验. Real Time 实时 亚秒级的数据传输 Heterogeneous 异构性 支持数据传输的跨平台 和跨数据库品牌 Transactional 事务性 确保事务的完整性 TDM 需求: Performance Extensibility & Flexibility Reliability GoldenGate TDM的优异性: 每秒处理数千事务的 能力，并且对宿主系 统的性能影响小 支持开放的底层系统 和客户的各种需求 提供持续的可操作性 和可用性
- 7. 7 GoldenGate 解决方案 高可用和容灾 双活数据库 Active-Active 零宕机 Zero-Downtime Operations 活备机 Live Standby 数据库分层 Database Tiering 实时数据集成 实时数据仓库 Real-Time Data Warehousing 实时报表 Live Reporting
- 8. 8 GoldenGate 解决方案 高可用和容灾 双活数据库 Active-Active 零宕机 Zero-Downtime Operations 活备机 Live Standby 数据库分层 Database Tiering 更稳定的服务 更高的性能 更快的恢复 最少的数据丢失 Real-Time Access 实时数据访问
- 14. 14 数据集成：实时数据仓库 提供BI的实时数据 减少批处理窗口的依赖性（往往占用大量系统资源，夜间作业） 其它数据集成有如下要求时： 低负载 事务的完整性 更灵活 易实施和维护
- 16. 16 GoldenGate的数据复制原理 事务日志 Extract Server Collector Replicat Trail Manager Manager 源库 目标库 网络 (TCP/IP)抓取 跟踪文件数据收集 复制 监控进程 监控进程
- 17. 17 配置了“中转数据泵”的复制过程 Data Pump Local Trail 事务日志 Extract Server Collector Replicat Trail Manager Manager 源库 目标库 网络 (TCP/IP)抓取 跟踪文件数据收集 复制 本地跟踪文件 数据泵 监控进程 监控进程
- 18. 18 检查点机制 – Extract 抓取进程 为了准确记录变化数据的捕捉情况，extract和replicat进程都通过一个检查点文件来记录检 查点，从而保证能够从各种情况的失败中恢复。 抓取进程Extract维护了: 两个输入检查点(标识于日志log文件中) 一个输出检查点(标识于跟踪trail文件中) 检查点文件/表 输出端：对应的跟踪文 件 输入端: 事务日志文件 最后一条被读的 记录 事务日志中最早的未提交记录 最后一条被写入跟踪文件的 提交事务记录
- 19. 19 检查点机制 – Replicat 复制进程 最佳做法：同时配置检查点表和检查点文件。 检查点被同时保存于两处。 复制进程replicat维护了两个检查点： 检查点文件/表 输入端：跟踪文件 最后一条已经读 取的记录 最早的未提交的记录
- 20. 20 GoldenGate工作原理总结 LAN / WAN / Internet 源库 目标库 双向 跟踪文件: 统一的数据格式适用于异构系统 路由传输: 不受距离限制，TCP/IP协议，压缩和加密 抓取: 提交的数据可以被过滤性抓取，通过事务日志读取 复制: 完整性机制保障下的事务数据加 载 抓取 源 Trail 目标 Trail 源 Trail 目标 Trail 加载 加载 抓取
- 22. 22 GoldenGate : 对异构平台的支持，系统可以运行在如下平台 数据库 操作系统和平台 抓取端: Oracle DB2 Microsoft SQL Server Sybase ASE Teradata Enscribe SQL/MP SQL/MX Ingres 加载端: All listed above MySQL and any ODBC compatible databases Windows 2000, 2003, XP Linux Sun Solaris HP NonStop HP-UX HP TRU64 HP OpenVMS IBM AIX IBM z/OS
- 23. 23 GoldenGate TDM: 其它的关键特性 支持表，行，列级的数据转换处理和过滤 支持自定义：存储过程，查询，宏定义 动态回滚和时间定点恢复 冲突检测和解决 －－ 常用于双活环境 数据压缩 数据加密 归档和审计能力 管理和监控 －－ GoldenGate Manager
- 24. 24 GoldenGate Director™ 图形化的配置管理包 管理，定义，配置以及监控GoldenGate TDM 进程 关键特性: 集中化管理GoldenGate 的各进程 丰富的管理界面和基于Web的图形界面 报警提示机制，并且可以和第三方的监 控软件集成 实时的反馈信息 对生产系统零影响
- 25. 25 GoldenGate Veridata™ 数据校验引擎 高速，低负载的数据比较方案 校验和报告两个数据库之间的差异性 几乎不影响生产系统的性能 优点： 减少财务和法律层面的风险暴露 加速和简化IT部门的数据比较工作 不影响生产系统的性能 对于备系统提供了更好的失败恢复机制 准确的决策支持和报表生成
- 26. 26 26 Active Data Guard Direct Memory Access Read On-Disk Logs SQL Direct Write to Logs Oracle的数据迁移产品 Comparing How They Work Redo in Memory Buffer GoldenGate Data Integrator DECREASINGLATENCY INCREASINGTRANSFORMATION Retrieve Data Load Data Disaster Recovery & Data Protection Real Time Data Integration & High Availability SQL Query Multi-step, Complex SQL Data Integration for Data Warehouse & SOA
- 27. 27 GoldenGate 总结 GoldenGate提供了跨平台，异构数据库上的实时事务数据 复制（抓取、路由、传输、加载、校验）。 用途 多业务中心（高可用） 容灾 报表分离 数据仓库 优势 速度快 延迟小 可靠性高 跨系统跨平台
- 28. 问&答