头豹研究院发布《2022年中国数据库产品策略解析报告》

本文援引于报告《2022年中国数据库产品策略解析报告》，首发于头豹科技创新网。

分布式数据库技术已经步入商业应用的成熟期，但分布式仅是数据库众多维度中的一环，那么从长远的目光中，再将视角放诸整个数据库技术栈的大厦中，数据库的未来该如何发展？

头豹研究院谨此发布《2022年中国数据库产品策略解析报告》，本报告将对数据库产品从数据库技术的底层核心出发，深入探讨当前数据库的发展潮流中的关键技术以及数据库产业的增长逻辑，帮助读者建立对数据库产业的总体及数据库产品特征有客观的认识。

在当前的大数据时代与云时代的交汇阶段，数据库领域所面临的挑战扩展性包括了扩展性、异构性、数据非结构化、错误诊断、数据隐私、及时性、数据溯源、可视化等问题

计算机数据库技术的革新完全改变了我们的生活方式。假若数据库技术仍然停步不前十分落后，一次在线的转账要花10分钟以上，在线支付就不会取代纸质现金交易获得当前的市场地位；如果一个网页的加载需要几分钟，我们宁愿选择看电视而非打开电脑上的视频门户网站。这些正是互联网时代之前绝大多数人的日常生活。

经历了多年的信息技术的发展，网络带宽和传输速度得到了巨大的飞跃，同时数据库技术的革新贡献不容忽视。

计算机是一门年轻的学科，诞生至今也不过半个多世纪。而计算机的问世，极大地推动了对处理数据和管理数据的需求发展，数据库技术作为计算机技术的研究分支应运而生。

随着计算机应用领域的不断拓展和多媒体技术的发展，数据库已经是计算机学科中发展最快、应用最广泛的重要分支，是现代计算机信息系统和计算机应用系统的基础和核心。而面向网络技术、人工智能、并行计算等新兴领域技术的融合，为数据库技术的应用又开拓了更为广阔的空间。

在当前的大数据时代与云时代的交汇阶段，数据库领域所面临的挑战已经不止步在扩展性，还包括了异构性、数据非结构化、错误诊断与处理、数据隐私、及时性、数据溯源、可视化等问题。

这些技术挑战同时跨越了多个技术应用领域，数据库作为单一技术领域难以完成数据库的革命性变化。未来数据库管理领域的重要发展趋势便是各类技术的互相借鉴、融合和发展。数据库数据库产业持续不断地适应着市场需求进行改进，而此演进迭代的进程将持续。

NoSQL取代传统数据库技术成为新的主流，不到十年就被NewSQL颠覆，一个新颖可行的理念被提出来，转眼间把过去学的知识颠覆。

数据库设计理论正在寻求更有效的语义表达关系，并在各设计阶段提供自动或半自动的设计工具和集成化的开发环境

对于给定的应用环境，构造最优的数据库模式，建立数据库及其应用系统，使之能够有效地存储数据，并满足各种用户对信息分类与处理等应用要求。数据库设计理论正在寻求更有效的语义表达关系，并在各设计阶段提供自动或半自动的设计工具和集成化的开发环境。

创新的分布式事务处理技术能够给予分布式数据库在工业实现上不同的高度，也定义了不同数据库厂商在数据库内核上的核心竞争力

在分布式架构设计的领域中存在一则指导纲领：CAP理论，指出一个数据库系统无法同时实现以下三个目标，只能妥协其一选余二：

1.提升系统的可用性；2.保证数据的实时可见；3.提升系统的容错能力。

CAP理论是学界中的概念化描述，在工程实践中，存在不同的思路和实践产品在摸索CAP理论中三者共存的边界。其中应用了包括不同的架构、事务解决方案、加锁机制、隔离机制、一致性算法/协议。

而学界也并不将CAP理论奉为圭臬，始终在重新定义CAP，提出了PACELC理论等研究热点，持续探索更优的分布式系统架构模式。

在CAP理论的提出后，分布式与事务型数据库开始结合。分布式一致性和事务一致性的融合，简化了应用层开发者的研发负担，不需要开发者精通分布式一致性和事务一致性的全部语义，以此提高了工作效率。

BASE原则使得分布式系统的多个组件的协作能够以弱耦合的方式形成一个异步系统，将理论推导和工程实现变得更简单。但ACID原则尤其是满足强一致性依然是所有分布式数据库架构的目标。

中心时钟、混合逻辑时钟、原子钟授时是目前逻辑时钟方案中的主流解决方案

分布式数据库出于满足对高可用性的需求，一般具备多副本进行数据的冗余存储。不同节点上的数据是完全一样的，但各节点的分布不同、分区不同，各节点间的数据复制存在时延，这对跨节点的数据同步复制提出了要求：如何实现多节点之间的数据一致性？

分布式事务的一致性问题聚焦在“次序一致性”。而时间作为单向流逝的序列可用于表达顺序关系，于是逻辑时钟的提出解决了分布式系统中事件之间的排序问题，给分布式系统中的所有事件定位次序关系。

但不同节点中的时钟点有快慢之差，分布式数据库下的时钟无法全局设置，于是诞生了众多始终解决方案，包括TSO、GTM、SCN、HLC、Truetime。

Paxos协议和Raft协议是分布式数据库的一致性算法中最为主流的协议方案

Write all read one (WARO) 的副本控制协议，要求更新时确保所有副本更新成功，但导致负载不均衡易存在极大的延迟。

Quorum协议，在WARO基础上对读取和更新进行权衡，且能容忍一定程度的副本异常。但是Quorum无法保证强一致性。

当前流行的一致性解决方案是：基于两阶段提交协议（2PC）实现跨shard事务提交的完整性，基于全局唯一递增时间戳实现跨shard事务的全局读一致性，通过Paxos协议和或aft协议实现多副本之间的数据一致性。

分布式事务的核心问题是解决分布式、并发情况下的事务一致性和分布式一致性。查询优化与并行执行师重要的模块，在MPP框架下，利用AI技术结合传统的优化和执行技术，使得分布式数据库的执行效率大大提升

事务与并发访问控制

分布式事务的核心问题是解决分布式、并发情况下的事务一致性和分布式一致性。

• 分布式一致性本质上是分布式系统引入的问题，保证分布式一致是站在分布式系统之外观察数据的读取过程，确保观察到的数据之间不存某种序。

• 事务一致性是属于ACID中的C，确保事务一致的情况下并发事务对数据项的影响不会造成数据异常。

并发操作可能会导致数据产生各种异常现象，为了保证事务特性，事务处理技术延伸到了事务处理策略、事务模型、多种并发访问控制技术，从而解决数据异常现象，达到事务层面的数据一致性。

并发优化与执行

查询优化与并行执行是重要的模块，在MPP框架下，利用AI技术结合传统的优化和执行技术，使得分布式数据库的执行效率大大提升。

分布式数据库引入了数据分片，从逻辑的角度，每个节点的数据都是一个或多个数据分片。而数据库要满足“高可用”等特性，每个数据分片都会有多个副本。

分布式事务并发访问处理技术

分布式一致性问题是因为多个节点分散、各个节点没有各个节点上发生的操作进行排序。

• 解决分布式不一致需要分布式数据库通过Raft等一致性算法实现强一致。

事务的一致性问题是因并发的事务间并发访问（比如读写、写读、写写冲突）同一个数据项所造成的。

• 而解决事务的一致性，则需要依靠并发访问控制技术。

• 并发访问控制技术在事务处理策略之上，衍生出基本的分布式事务并发访问控制机制比如：SSI可串行化的快照隔离技术、2PL两阶段锁、TO时间戳、CO提交排序等方式。

• 前沿的并发访问控制技术包括：DTA动态调整时间戳算法、Data-driven算法、ACC自适应并发访问控制、DomCC混合并发访问控制。

MVCC多版本并发控制技术，是并发访问控制的核心技术需要基于并发控制技术来使用，如PCC中的两阶段锁2PL；OCC中基于撤回的时间戳TO、提交排序CO等方法

Multi-Version Concurrency Control 多版本并发控制技术，是并发访问控制的核心技术，在数据库中用于防止用户表数据被并发事务访问时出现数据不一致的问题。

MVCC通过对数据元组进行多个阶段的区分提供多版本操作的物理基础，并以快照帮助事务获取满足一致性状态的数据，最后通过数据可见性判断算法依据快照遍历多个版本，使得多个动态的事务可以同时读写同一个数据项。

但MVCC需要基于并发控制技术来使用，如PCC中的两阶段锁2PL；OCC中基于撤回的时间戳TO、提交排序CO等方法。

在存储系统的设计中，存储引擎属于底层数据结构，直接决定了存储系统所能够提供的性能和功能。在数据库产品中以Hash、B+tree、LSM-tree为存储引擎的主流索引架构

常见存储算法结构涵盖：哈希存储，B 、B+、B*树存储，LSM树存储引擎，R树，倒排索引，矩阵存储，对象与块，图结构存储等等。

在数据库产品中以Hash、B+tree、LSM-tree为存储引擎的主流索引架构。

云和恩墨和华为深度合作，基于 openGauss 内核进行研发，推出了安稳易用的企业级数据库 MogDB，助力客户的数字化转型和数据库替代升级。公司还通过恩墨学院与墨天轮社区，为行业培养数据库人才、传播数据领域知识，推动国产数据库生态繁荣。

云和恩墨（北京）信息技术有限公司

云和恩墨专注于数据库领域，是一家智能的数据技术提供商，致力于为用户提供可信赖的产品、服务和解决方案，团队研发人员超200人、技术交付超300人。公司的 MogDB 数据库、zCloud 云管平台、zData 数据库一体机、SQM SQL审核平台，能够为企业级数据库应用提供从存储到开发的端到端解决方案。迄今，云和恩墨的产品和社区服务已获得超过1000家企业和100万会员的认可。

MogDB - 安稳易用的企业级数据库

MogDB 是云和恩墨基于 openGauss 内核进行增强提升，发行的一款安稳易用的企业级关系型数据库。MogDB 具备金融级高可用和全密态计算的极致安全、面向多核处理器的极致性能、AI自诊断调优的极致智能能力，能够满足从核心交易到复杂计算的企业级业务需求，解决金融、电信、能源、政企等行业用户数字化技术创新问题，现已在多个行业头部客户的核心场景中得到实践。

恩墨学院与墨天轮社区打造数据库生态

恩墨学院致力于提供专业、高水准的数据人才培训服务，已累计为企业输送专业DBA人才万余人。2022年4月，MogDB 数据库培训认证体系正式在恩墨学院上线，旨在为 MogDB 用户培养专业的技术管理人员。

作为第三方技术社区，墨天轮社区注册用户超过30万人，深度交汇行业用户、分析师、数据库厂商、技术从业者，持续促进数据领域的知识传播和技术创新。

在某城商行的国产化替代进程中，云和恩墨不仅提供了安稳易用的 MogDB 数据库，配置了完善的运维体系，同时为行内提供数据库管理与运维培训，确保了系统投产后的持续稳定运行。该案例的落地标志着 MogDB 已成为金融客户数据库国产化替代的优选品牌。

案例代表是一家具备千亿级市场经营规模和数十亿级盈利能力的头部城商行，业务遍布全国14个省，资产总额超过5000亿元。为提升IT系统性能，保障数据安全，该城商行对国产数据库产品进行了公开招标，并最终选择 MogDB 进行数据库国产化替代。

业务挑战

• 异构数据库替换：由 Oracle、DB2、MySQL、PostgreSQL 分别支持的21套业务系统需要平滑迁移。

• 高并发业务场景：800多万用户高并发在线访问，线上渠道服务客户超过1300万人次。

• 金融级安全保障：数据库需支持存储加密、数据传输通道加密等安全机制。

解决方案

MogDB + MogHA + MTK + BRM 构成了本案例的整体解决方案。

• MogDB对Oracle、DB2、MySQL、PostgreSQL等数据库都具备高度的兼容性，拥有金融级高可用和全密态计算的极致安全，部署上线后各业务系统的可靠性和整体性能均有不同程度的提升。在阶段验收中，MogDB以稳定高效的运行效果和便捷易维的客户体验，增强了案例城商行继续推进国产数据库替换的信心。

• 高可用管理系统MogHA，能够监控实例的状态、主备的状态，在探测到故障时立即做出合理的主备切换操作，极大地满足了银行客户对业务连续性的高标准要求。

• 数据库迁移工具MTK，将异构数据库的数据结构和全量数据高速导入到目标库MogDB中，其中A类综合柜面图形前端系统在测试中可实现10分钟内完成全量、迅速、无差错的数据迁移。

• 备份恢复工具BRM，对集中备份和恢复管理提供了强有力的支撑，有效提升运维效率。案例城商行的ITIL业务在上线前，进行了基于现网数据库的本地备份和远程备份。在数据恢复演练中，恢复后的数据完整无缺失。

替代收益

MogDB结合高可用管理系统MogHA，使数据库的故障持续时间从分钟级降到秒级（RPO=0，RTO<60s）。案例城商行的多个B类、C类乃至A类业务系统已陆续上线，安全、稳定、高效的 MogDB 将持续支撑该城商行不断扩大的业务规模。

重点关注企业

通过深度研究中国数据库行业内优质企业，头豹建议重点关注云和恩墨。