收藏文章 楼主

纯数据备份和容灾技术不再是未来主流,如何通过二者的无缝衔接来支撑业务的连续性?|《迈向YB数据时代》

版块:   类型:普通   作者:小羊羔links   查看:447   回复:0   获赞:0   时间:2022-06-23 23:59:15

随着信息技术的不断涌现和普及,业务发展加快了数据膨胀的速度。越来越多的企业数据量逐步从PB、TB迈向了YB。数据资源的积累加快了各个领域的量化进程,数据保护也以 人为 自然的风险挑战成为业务连续稳定运行的必要考虑因素。

《迈向YB数据时代》2022年春季刊以数据容灾为主题,集二十多家从事企业科技战线的各路精英之学识经验,围绕数据容灾备份这一黄金战甲,以精益架构、集成实施、持续运维、趋势动态四个栏目展开,每个栏目又分为若干业内同行认为亟待解决的议题,每个议题中各位同行专家从不同维度充分剖析诠释,同时以朴实敦厚而又精炼有序之论给予解决思路和方法。我们在此将春季刊的内容进行连载放送,希望可以为企业同行提供容灾备份战线上的参考,更希望可以成为集结八方同道之号角。


本期为大家带来的是精益架构栏目中的议题一

纯数据备份和容灾技术不再是未来主流,如何通过二者的无缝衔接来支撑业务的连续性?



议题说明 数据备份技术与容灾技术同是保障企业业务连续性的核心技术,数据备份技术主要应用于解决逻辑错误的场景恢复,而容灾技术主要应用于解决物理故障的场景恢复,只有二者的有机结合才能保障企业的业务目标实现。那么两种核心技术应该通过怎样的思路、技术、工具无缝衔接?这是我们需要探讨的核心问题。



议题主编 嘉兴银行科技部总经理 苏海涛

本议题探讨前,将以金融行业为例,几位专家先针对数据备份与容灾的区别和联系、容灾系统的构建标准取得共识。其中

数据备份与容灾的区别和联系

根据《银行业信息系统灾难恢复管理规范》(JR/T0044-2008 中的定义,备份是整个容灾体系中的基础,它首先要求的是数据的拷贝在离线/其它介质上进行保存,目的是当灾难发生时,能够提供基于时间点的离线数据对业务进行恢复。而容灾实际上是一个体系,根据JR/T0044-2008的定义,整个容灾体系分为了6个级别。每一级别都有着不同的RPO和RTO要求,以及不同要求的配套制度、人员和设施的关键要素能力。

实际上,从图1来看,处于6级的容灾体系,与处于1级的容灾体系,它们对于RTO和RPO的要求完全不同,对于所需要的关键要素也有着非常大的差异。因此两者是包含关系,并无冲突。但无论构建哪一层级的容灾体系,都首先要建立有效的备份制度。

图1 业务实时自动切换的能力

离线的/异地的备份,在整个容灾体系中,往往承担着最后一道防线的职责,因为备份数据通常与基础设施无关,它仅是多个历史时间点的业务数据的合集,当所有基础设施失效后,它是唯一的业务恢复手段。

而构建容灾体系,更多的是业务连续性对于基础设施、基础软件的要求,它往往是立体的,多层次且全方位的。需要考虑不同的业务等级、不同的灾难等级所需要的业务恢复的时间。

容灾体系的构建

JR/T0044-2008中明确地定义了在构建容灾体系时,需要根据业务的重要程度区别构建容灾边界。

在实践中,通常会把业务以关联性、失效影响边界等等因素进行综合评判,对业务进行等级划分。而行业同行的做法会把业务划分为ABCD ABCDE这4-5个等级,与标准中的3类业务类型 等级体系标准中的2-6级进行对应。在标准的指引下,基于业务容灾边界建立不同的容灾体系。过去几年持续构建的两地三中心架构,也正是在这样的方法论指导下的实践过程。

通常情况下,会在同城构建双活数据中心,提供关键业务的高可用部署,同时考虑到关键业务可能在城市灾害如地震、火灾、战争的影响下导致无法响应生产,因此通常都会建立异地的一个 多个灾备中心。除此之外,仍然要提供数据的备份策略。而且备份也需要根据灾难可能发生的级别,在不同的地域保存多个副本。


社区专家主张

苏海涛主编 本次议题将由某农信资深技术经理雷智、江苏农信存储工程师康建国、某城商银行高级工程师韦宇光、某农商银行架构师胡海光分别主张议题下的相关关键点,几位专家的主张在民生银行数据库架构师孔再华、某金融系统高级主管赵海及我本人的复议下,各位专家的主张最终形成一定的共识供同行参考。


雷智 某农信资深技术经理

单一的容灾技术已难以满足企业的业务连续性需要,在容灾体系规划设计中,需要关注五个关键点。另,容灾技术体系中,备份技术应作为所有应用系统的必备项,按照系统重要性、实时性、功能性等设定不同备份及上带库策略,同时运用存储、数据库等多种容灾技术实现多维度、立体式的业务连续性保护体系。


在企业解决灾难场景下保护数据资产和服务能力的过程中,备份、容灾和业务连续性是三个关键并容易混淆的概念。一般来说,备份是为了应对灾难来临时造成的数据丢失问题,容灾是为了在遭遇灾害时能保证信息系统继续正常运行,帮助企业实现业务连续性的目标。业务连续性是指在中断事件发生后,组织在预先确定的可接受的水平上连续交付产品 提供服务的能力。业务连续性明确了一个机构的关键职能以及可能对这些职能构成的威胁,并据此采取相应的技术手段,制定计划和流程,确保这些关键职能在任何环境下都能持续发挥作用。

备份技术作为历史最为悠久、技术最为成熟、性价比最高的基础容灾技术,在容灾体系实践中,是应对灾难的“最后一根救命稻草”,一般作为各类业务系统容灾的必选项。如果把备份技术作为一个点,那么容灾技术是由多个类似备份的技术所组成的线,业务连续性则是涵盖容灾技术、业务影响分析、组织管理等内容的面。

随着企业业务种类的不断丰富、客户对服务极致体验的不断提高、数据价值的不断凸显,单一的容灾技术已难以满足企业的业务连续性需要。因此,在容灾体系规划设计中,需要关注五个关键点

1 没有最好的容灾技术,只有最合适的容灾技术。每一种容灾技术只能应对相应的灾难场景。

2 做好容灾技术顶层设计。容灾体系规划应该从业务视角为出发点,以终为始地制定各类业务系统RTO和RPO,找准各容灾技术定位,通过各容灾技术组合做好备份冗余,按照业务类别和技术特性搭好容灾技术体系框架。

图2 金融行业数据中心业务连续性与数据容灾设计最低标准

3 多维度评价容灾技术产品。重点考虑产品的银行业市场占有率、技术成熟度、与现有技术架构匹配度、维护便利性和售后服务保障等方面。

4 抓好“一头一尾”关键技术。“一头”是容灾技术体系中定方向的关键和底层技术,例如存储、跨中心双活DNS、负载均衡等。“一尾”是保稳定的管理工具和备份产品,其他相关容灾技术则可以柔性选择,适当做出亮点。

5 打好容灾技术“组合拳”。各类容灾技术均有特色,但在容灾体系规划实践中,可以利用备份、数据级、应用级等多种容灾技术进行组合,以提高灾难防范能力并满足业务系统的RTO和RPO要求。

在容灾技术体系中,备份技术应作为所有应用系统的必备项,按照系统重要性、实时性、功能性等设定不同备份及上带库策略,同时运用存储、数据库等多种容灾技术实现多维度、立体式的业务连续性保护体系。参考某省农信,例如,针对核心重要类系统,某省农信在本地存储双活、异地存储复制和数据库复制的基础上,在本地存储新增了每4小时一次的快照和每日数据库备份,利用多层次的容灾技术组合增强关键系统的高可用性。 


胡海光 某农商银行架构师

在主数据中心通过备份方式备份重要数据、日志及配置文件等,在同城 异地数据中心部署灾备,实现与主中心的容灾保障。就目前而言,两者已不再单纯存在,未来会更加紧密结合,最终会融合一体,形成容灾备份一体化。


随着互联网技术的发展,AI、区块链、云计算、大数据等技术方兴未艾,特别是数字化转型的持续推进,对于企业来说,数据对企业来说越来越重要,是企业赖以生存的生命线这种说法毫不夸张,也是企业立足自身发展的坚实保障。就数据的安全性方面来说,数据保护的手段和形式也很多,而备份和容灾技术是目前主流手段。备份和容灾实际上则是两个概念,备份是为了应对灾难来临时造成的数据丢失问题,容灾是为了在遭遇灾害时能保证信息系统能正常运行,帮助企业实现业务连续性的目标。现将备份和容灾技术进行简要分析。

备份是针对特定的数据中心而言的,场景应用广泛。而传统的备份技术是企业数据保护目前采用的普遍手段,特别是针对数据库业务,每日在业务低峰时通过备份技术将整库 重要的数据库表的数据备份下来传至特定的存储上进行归档保存,以应对硬件故障数据库损坏 数据库数据误删等情况下通过备份的数据库数据进行快速恢复,但备份只在每日特定的时间点进行定时备份,无法在一天中多次备份,这也导致数据备份恢复时存在备份点与恢复点之间时间差内部分数据缺失,这时如数据库日志存在的话可通过滚日志的方式实现时间差内数据的恢复,而日志不存在的话,则存在着数据无法恢复的风险,因此对于敏感类业务特别是账务类业务则通过部署CDP数据连续性保护产品,对业务数据进行实时备份,故障时数据可快速恢复至任意时间点。数据备份的要求是数据异地,以应对数据中心级的故障造成的数据损失。

而容灾相比于备份而言主要是面对数据中心级的故障,要求不仅是在数据上要实现同步,而且要求应用和数据库上也要实现故障的切换 双活,从而确保一旦数据中心遭遇灾害时,从而确保一旦数据中心遭遇灾害时,业务不会受到灾害影响,仍可以继续运行 快速切换恢复。因此相比于备份,容灾要求比较高,通常通过在同城数据中心( 异地数据中心 部署灾备系统,实现数据中心级的容灾,在数据库层面通过数据同步技术(如Db2的HADR、Oracle的 RAC 实现跨中心的数据同步,应用层面一般以双中心部署双活应用服务(前端部署负载,一旦某中心发生故障则切断该中心应用流量 的形式实现。通过在特定的窗口演练容灾切换不断完善容灾切换过程、优化容灾步骤从而在灾害发生时能快速有效地完成容灾的切换。

表 1 某银行核心关键类系统容灾技术体系

就数据备份和容灾技术而言,虽然场景略有不同,实现的方式也不尽相同。但就业务的连续性保护方面,特别是对金融机构而言,两者相互结合广泛使用。在主数据中心通过备份方式备份重要数据、日志及配置文件等,在同城 异地数据中心部署灾备,实现与主中心的容灾保障。就目前而言,两者不再单纯存在,已相互融合,相辅相成,未来两者会更加紧密结合,最终会融合一体,形成容灾备份一体化。


韦宇光 某城商银行高级工程师

传统的磁带备份 者基于磁盘的备份的数据保护机制只能提供有限的保护,早已无法满足企业不断上升的数据保护需求。因此,为企业的信息系统建立起有效的备份与容灾体系,在发生各类灾难时快速响应、全力保证业务连续性,成为企业当前及未来IT建设的重点。


当前信息系统已经成为企业生产运行的中枢,保障信息系统的安全、稳定早已成为保证企业生产持续运行的关键,其中更为核心的是对数据的保护,在容灾体系中常用恢复点目标(RPO 进行灾备能力的判定。传统的磁带备份 者基于磁盘的备份的数据保护机制只能提供有限的保护,早已无法满足企业不断上升的数据保护需求。因此,为企业的信息系统建立起有效的备份与容灾体系,在发生各类灾难时快速响应、全力保证业务连续性,成为企业当前及未来IT建设的重点。

通常情况下,企业会选择备份软件对数据库及文件系统进行备份,每一套数据库 者文件系统都制定一套适用于生产环境的备份策略,为充分验证备份数据的有效性,通常可以搭建一套专用的恢复测试环境,用以验证备份数据的可恢复性,同时可将恢复出来的数据进行刻盘长久保存,一套相对完整的备份数据全生命周期管理体系基本建立完成。接下来工作就是数据保存管理了,在完成数据刻盘后,可以通过光盘塔等设备再刻录一份储存于同城灾备机房,达到监管要求。随着备份系统技术的发展,一体化备份系统的存储传输复制技术在生产中也得到进一步应用,通过该技术实现了离线数据的同城灾备复制。

传统备份技术无法应对所有的数据恢复需求,也就无法提供及时的业务连续性保障能力,例如数据量较大时无法在期望时间段内完成备份的问题,比如 双录 者无纸化系统中产生的大量非结构化数据、大数据系统、虚拟化服务器备份等,近几年通过近线数据存储的同城灾备 者一体化备份技术、分布式存储的远程复制技术等解决了上述问题。

传统备份技术只能解决非实时数据恢复需求,在业务连续性要求越来越严格的今天,企业不得不依靠存储的同步 异步复制功能实现数据传输,从而完成短时间内应用系统切换至灾备机房运行的需求,另外依靠数据库复制技术也可以实现数据远程复制。两种技术各有优劣,社区多次讨论这个话题。只是实时数据复制无法解决人为错误等问题,又得依靠传统备份来进行技术上的弥补,例如通过传统备份恢复数据库,并逐步前滚数据曾经多次帮助过我们找回了被程序写乱了的数据,数据库的闪回技术也能解决类似的问题。

综合来看,不论是传统备份技术还是容灾技术,其发展趋势都在不断地进行技术上的融合,以求弥补自身的技术缺陷,但是某项特定的技术一定有其天生的优劣势,加之当前也趋于成熟的重删和压缩技术,也为容灾与备份带来不错的福利,所以并不存在一招走遍天下的绝佳方案。作为业务系统运维的我们,清晰了解业务系统特性和技术特性,按照业务连续性要求,便可以制定无缝衔接的应急措施。


康建国 江苏农信存储工程师

企业的IT运维人员和架构人员不应存在重容灾轻备份 者轻容灾重备份的“偏见”思维。


容灾和备份有着明显的区别,在数据中心的高可用设计和实现中紧密结合、缺一不可。但是,很多企业的IT运维人员和架构人员却存在重容灾轻备份 者轻容灾重备份的“偏见”思维。

在十多年前的传统IT运维策略中,业务部门对IT系统的RTO(恢复所需的时间指标 /RPO(能够恢复到的最新状态 的要求和期望值远没有现在高,因此容灾架构的建设 入较低,主要依赖数据备份。以Oracle数据库为例,传统运维重视数据库备份,通常使用一周全备加周中每天增量备份相结合的备份策略,备份手段通常选择使用RMAN接口备份到磁带离线永久保存。当数据库系统发生不可用状态时,采用从备份介质紧急之前的备份集的方式,通常是恢复上一日的备份集到数据库服务器并通过追加归档日志和在线日志以尽可能恢复到最近时间点以减少RPO。在这样的技术架构下,业务的恢复通常是数小时甚至是以天为单位。

随着时代发展,业务部门对应用系统的RTO和RPO指标要求越来越高,传统的数据备份技术已无法满足业务连续性的要求。在这样的背景下,容灾系统越来越重要。对金融行业尤其是银行业的支付系统等关键业务,容灾系统是不可 缺的。通过建设功能完善的同城 者异地容灾系统,使灾备中心具备应付各种灾难,特别是区域性与毁灭性灾难的能力,具备较为完善的数据保护与灾难恢复功能,保证灾难降临时数据的完整性及业务的连续性,并在最短时间内恢复业务系统的正常运行,将损失降到最小。

继续以Oracle数据库的高可用为例,生产中心为两实例的RAC架构,通过备份服务器每日进行数据备份到带库永久保存。

鉴于业务连续性要求对数据库灾难恢复RTO的要求,传统的仅有每日数据库备份的策略已经过时,在灾备中心建设一套容灾系统的需求应运而生。在灾备中心安装一套同样资源配置的Oracle RAC数据库,通过Oracle ADG(active dataguard 技术,实现生产中心主库到灾备中心备库的实时数据复制。在生产中心发生灾难主库不可用时,通过一键切换将应用连接切换到灾备中心备库,实现了RTO分钟级别,RPO为0 者秒级,极大提高了该数据库业务的可靠性和连续性。

图3 Oracle ADG同城容灾架构

上述实例很好地说明了容灾系统区别于数据备份的地方以及它的重要性。那么容灾是不是就可以替代备份了呢?答案是否定的。以上述数据库容灾系统为例,数据同步会完整地把生产系统的任何变化复制到容灾端去,包括不想让它复制的工作,比如人为误操作更新 者删除某张表的数据,那么同时容灾端的对应数据也会被完整地错误更新 者删除。这时就需要从备份系统中取出最新备份,来恢复被错误删除的信息。因此容灾系统的建设非常重要,但绝不能替代备份系统的建设。


结束语

对一个数据中心的建设而言,容灾和备份同样重要。备份是基石,是数据中心可靠性建设过程中最基本的内容。容灾是高层建设,在备份建设完成的基础上,逐步从数据层面、应用层面、业务系统层面等多个层次进行容灾系统的建设。将容灾和备份紧密结合,以应对不同场景、不同范围的灾难恢复,最终提升业务连续性水平,保障业务安全稳定运行。


阅读更多《迈向YB数据时代》精彩内容,请识别以下二维码


《迈向YB数据时代》

数据,作为企业最核心的战略资产,正在由于规模越来越大变成一只令人恐怖的怪兽。在人类数据应用规模即将进入YB时代的当下,如何存好、用好、管好海量数据成为大中型企业普遍面临的巨大挑战。《迈向YB数据时代》,由twt社区和华为存储用户俱乐部联合主办,凝结中国一线用户中应用创新技术专家的具有代表性、前瞻性的技术洞见、实战经验、同行共识,从趋势、架构、实施和运维四大方向,为中国大中型企业应对数据及存储管理中的重大应用挑战提供代表性的参考指南。“乘众人之智,则无不任也;用众人之力,则无不胜也。”让我们一同携手,从容迈向YB数据时代!

【点击图片阅读春季刊】

点击 ,到社区原文下与更多同行交流探讨


*本 所发布内容仅代表作者观点,不代表社区立场

小羊羔锚文本外链网站长https://seo-links.cn 
回复列表
默认   热门   正序   倒序

回复:纯数据备份和容灾技术不再是未来主流,如何通过二者的无缝衔接来支撑业务的连续性?|《迈向YB数据时代》

Powered by 小羊羔外链网 8.3.12

©2015 - 2024 小羊羔外链网

免费发软文外链 鄂ICP备16014738号-6

您的IP:3.145.131.238,2024-04-25 22:24:24,Processed in 0.05166 second(s).

支持原创软件,抵制盗版,共创美好明天!
头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息