跳到主要内容

存如何利用Snowflake的Snowgrid技术和AWS实现数据弹性

Arjun宫著, 存总监,Snowflake和数据平台团队负责人 and Sudha Gullapalli, 存数据云工程副总监| 5分钟阅读| 10月10日, 2023

业务连续性仍然是全球公司的首要任务, 考虑到自然灾害造成的破坏, 区域网络和停电, 网络攻击和破坏, 用户错误(仅举几例)不是问题 if 但是一个 .

Arjun宫Arjun宫, 存总监,Snowflake和数据平台团队负责人

对于存托信托(Depository Trust)这样的公司来说,保持业务连续性的理由尤其令人信服 & 结算公司(存), 它被指定为具有系统重要性的金融市场效用(SIFMU), a U.S. 国会制定的地位,承认这样一个组织的破坏或失败将破坏金融市场的稳定. 这就是存致力于提供世界上最高效、最具弹性的交易后金融市场基础设施的原因. AWS上的雪花支持我们的业务弹性计划,使我们能够以运营效率和信心满足和扩展灾难恢复.

Sudha GullapalliSudha Gullapalli, 存数据云工程副总监

在我们继续Snowflake和AWS的故事之前, 这里有更多vns6060威尼斯城官网存的信息,以帮助您了解其中的利害关系. 我们结算了美国的大部分证券交易.S., 4美元.每天5万亿美元.S. 政府债券和每月平均$8.35万亿的抵押贷款支持证券. 你明白了:业务连续性对我们来说是必要的,以便结算证券交易或运行内部报告, 因此,我们的IT战略是基于安全的三个基本支柱, 弹性和稳定性.

使用Snowgrid在每个元素中构建弹性

在存, 我们所有的计划都包含了弹性的概念, 无论是清算证券还是为客户提供执行数据分析的能力, 包括如何使我们的应用程序现代化. 每个应用程序都有一个灾难恢复计划, 包括我们所说的手册, 详细介绍了故障转移和故障恢复模式,以及灾难恢复中两个主要标准的目标:

  • 恢复点目标(RPO): 如果数据丢失,您期望实现的数据恢复范围.
  • 恢复时间目标(RTO): 在发生灾难时,您所能容忍的应用程序不可用的最长时间.

自2020年6月在AWS上实施雪花以来,我们的风险和数据分析, 我们的组织没有发生过事故. 这种弹性成功的原因之一是雪花 Snowgrid 功能. Snowgrid使客户能够跨区域和云复制数据等, 释放更大的弹性并最大限度地减少业务中断.

我们使用Snowgrid技术进行了至少15次灾难恢复演习,以实现业务连续性. 我们的Snowflake实例处理超过700个,每天在15个应用程序中查询000次,支持400多名用户, 使用Snowflake的帐户复制功能,我们已经能够实现接近零的数据丢失和接近零的RTO.

Snowflake’s built-in redundancy is a major benefit for 存; there is triple redundancy for all critical services and automatic retries for failed parts of any query. 在区域层面, Snowflake使用AWS上的可用性区域,还提供跨区域复制和故障转移, 是什么帮助我们实现了接近零数据丢失和接近零恢复时间的业务连续性目标. 我们可以使用雪花时间旅行功能查询和检索最多90天的已删除数据,并且故障安全功能提供了超过时间旅行保留期限的额外7天.

Snowgrid的帐户复制功能允许每个帐户拥有一个或多个故障转移组, 所以我们可以根据业务线来区分应用程序. 这为我们的灾难恢复过程设计提供了很大的灵活性, 包括在应用程序的连接URL完好无损的情况下进行故障转移的能力, 所以应用程序和它的连接一起失败(也可以一起失败). 我们还获得了独立旋转应用程序而不会相互影响的能力.

收获好处

我们总是力争RTO为零. Snowflake用它的许多关键特性支持这种努力, 包括多云支持, 随需应变的可伸缩性, SOC 1和SOC 2合规性, 复制, 和故障转移. 在过去的9个多月里,我们做了弹性(混乱)测试, 压力测试, and testing P99 lags; we feel that we’ve put Snowflake 复制 through thorough testing and had good success.

在存, Snowgrid复制和故障转移的好处包括一致性, 速度和成本节约.

一致性:跨主、从帐户和云提供商的自动同步消除了手动迁移任务,提高了操作效率. 每个应用程序都有一个用于全局灾难恢复(DR)进程的runbook, 这意味着只有一个代码库来集中管理和执行复制. 我们可以为美国使用相同的代码库和过程.S. 和欧盟,省力.

速度:可启用容灾, 在不到三天的时间里测试并配备了它的运行手册(详细的DR计划). 简单和优雅的设计,使其快速工作与雪花DR.

节约成本雪花复制是便宜的. 我们以前的本地复制解决方案的成本翻了一番,因为硬件和许可成本翻了一番.

用雪花的计算和存储分离, 高度压缩的微分区被复制, 这样可以提高复制站点的存储效率和数据新鲜度. 与即时启动计算vns6060威尼斯城官网的能力相结合, 我们能够快速恢复,同时只在需要时支付计算费用. 避免双重加载和传输数据(ETL)的需要帮助我们实现了大约30%的节省.

在存, 我们所有的计划都包含了弹性的概念, 包括如何使我们的应用程序现代化.

业务持续成功的四个秘诀

存与雪花团队的合作为我们提供了一个紧密而持续的反馈循环,并有机会在私人预览中尝试新功能. 在一起, 我们已经能够移动像跨域身份管理系统(System for Cross-domain Identity Management, SCIM)供应和用户复制这样的大而复杂的东西.

当您承担(或继续)您自己的业务连续性计划时, 我们强烈推荐Snowflake作为基础,并提供以下建议:

  • 确保您了解公司的资产,并确定每个应用程序的可接受损失或停机时间(如果有的话).
  • 不断地测试并寻找边缘情况.
  • 自动化, 自动化, 自动化——这是实现关键任务应用程序所需的规模和效率的唯一途径.
  • 保持测量以持续改进.

在存,我们为从一开始就设计弹性IT策略而感到自豪.

与雪花, 以及Snowgrid的跨云能力, 我们知道我们架构的安全和操作方面已经涵盖,因此我们可以专注于优化用户体验并为我们的业务增加价值.

对Snowgrid感到好奇? 读了 使用Snowgrid在全球范围内操作 解决方案简单.

帖子
存管连接
2023年9月21日 释放独特的全部潜力...
帖子
存管连接
2023年9月25日 开启数据流动性的未来...
帖子
播客
2023年10月3日 提高结算效率...
回到存连接
dtccdotcom