第 4 期：化繁为简 | HTAP 数据库在物联网场景下的最佳实践
物联网（Internet of Things，简称 IoT）是当今世界科技发展的重要趋势之一，它通过将物理世界中的各种物体与互联网相连接，实现了智能化的数据收集、传输、处理和应用。物联网技术的发展不仅推动了信息技术的进步，也为各行各业带来了革命性的变革。如今，物联网技术的应用已经渗透到各个行业，大到城市管理、小到住家医疗，小六为大家简单介绍如下：
智慧城市： 物联网技术在城市管理中的应用，包括交通管理、环境监测、公共安全等方面，通过大量的传感器和智能设备，实现对城市资源的高效管理和优化配置。
工业物联网： 在制造业中，物联网技术通过机器学习和人工智能等技术，实现生产过程的自动化、优化和智能化，提高生产效率和产品质量。
智能家居： 物联网技术使得家庭中的各种设备如灯具、空调、安防系统等能够相互连接和通信，用户可以通过智能手机等移动设备远程控制家中的设备，实现家庭自动化和智能化。
医疗健康： 物联网技术在医疗健康领域的应用，如可穿戴设备、远程监控系统等，能够实时收集患者的健康数据，为医生提供更准确的诊断依据，同时也为患者提供更便捷的健康管理服务。
农业： 物联网技术在农业领域的应用，如精准农业、智能温室等，通过传感器收集土壤湿度、温度等数据，实现对农作物生长环境的精确控制，提高农业生产效率。
近些年来，随着设备数量的激增和 5G 网络的普及，物联网领域的数据量发生了爆炸性增长。这些数据不仅需要实时处理，还需要进行复杂的分析以提取有价值的信息。在数据库架构层面，物联网企业规模扩大的同时也面临着诸多挑战：
需要提升高并发情景下的写入吞吐性能：
物联网设备产生的数据量巨大，且这些数据通常以高频率持续产生。例如，在大型的工业制造领域，设备每秒产生的时序数据点数可以达到数百万级别，这对数据库的写入性能提出了极高的要求。
需要实时或近实时的数据处理能力：
数据库需要具备低延迟的特性，从而能实时或近实时地处理物联网应用数据。例如，在智能交通系统中，车辆状态的实时监控和分析需要快速响应，以确保交通安全和流畅。
需要高效的数据查询分析能力：
物联网场景中，需要对长时间范围内的数据进行趋势分析和报表生成。例如，分析过去 1 天、1 周、1 个月或 1 个季度的用电趋势。此外，还有断面查询需求，如查询特定时间点所有设备的温度明细数据。这要求数据库不仅能够存储海量数据，还要能够支持高效的数据查询和分析，同时最小化对写入性能的影响。
需要低成本的数据存储：
物联网设备产生的数据量呈爆炸式增长，存储成本成为了一个重要考虑因素。数据库需要通过高效的数据压缩、冷热数据分离等技术来降低存储成本。
除此之外，还需要考虑数据的多样性、数据安全与隐私保护、数据库的可维护性和可扩展性等。为了应对这些挑战，物联网领域的企业往往会组合多种数据库技术来满足业务需求，其核心平台中至少包含以下 4 种类型的数据库：
- 关系型数据库：实现 OLTP 型操作，包括产品管理、设备管理、设备更新等，通过分库分表的方式应对海量设备的接入场景；
- 分析型数据库：用于构建感知数据仓库，支撑海量数据的处理和分析。其中设备管理主数据信息通过 ETL 的方式，定时或者准实时从关系型数据库同步到数据仓库；
- 时序数据库：存储传感器原始数据转化后的时序格式数据，用于支撑监控、预测或识别时间序列数据趋势的场景；
- 文档型数据库：用于存储和管理物模型。
随着平台的架构演进以及更多的实时分析场景，这种复杂的数据库架构已经无法满足业务发展要求，小六以曾接触过的一位物联网客户为例，其数据库架构问题突出表现在四个方面：
- 数据流动链路冗长，数据时效性低，无法有效支撑实时分析的场景；
- 系统组件繁多，技术人员需要学习掌握多种类型的数据库，开发成本高，运维难度大；
- 客户有两个异地机房做容灾备份，现有分析型数据库不支持增量备份，只能借助第三方消息中间件做增量同步，数据备份机制复杂。为了避免两地数据不一致，每周还需要强制进行一次全量数据同步，耗时耗力；
- 目前所使用的数据库全部为开源版本，存在安全隐患，无法满足国产信创的政策要求。同时，使用过程中遇到的 BUG 和需求也得不到及时的支持。
经过多轮的技术交流、测试和验证，客户最终选择了国产分布式 HTAP 数据库海纳（HexaDB）作为统一的数据底座，将关系型数据库和分析型数据库合二为一。
新架构的好处显而易见：用一套数据库集群支撑 OLTP 和 OLAP 两类业务，实现数据库平台一体化、业务数据归一化，IT 建设和运维成本显著降低。同时，省去了原有架构中从关系型数据库到数据仓库的 ETL 过程，数据时效性显著提高。另外，HexaDB 的主备从高可用以及跨 Region 容灾技术，让客户获得了同 AZ RTO < 4 秒、RPO 为零，跨 Region RTO < 30 秒、RPO < 60 秒的极致高可用体验。
目前，HexaDB 已经正式于生产环境上线，与原有关系型数据库的兼容度接近 100%，并且为客户提供了优秀的实时数据处理和复杂查询能力。数据从采集、处理到消费，整体时延能够控制在 1 秒钟以内。
客户技术负责人表示：“海纳数据库极大简化了我司核心平台的数据库架构，让能够写标准 SQL 的技术人员就能轻松玩转大数据，有效降低了系统的开发运维成本；其强大的实时数据处理能力，帮助我们更好的应对各类实时分析场景；更令我们惊喜的是，数据库系统整体消耗的硬件资源也比过去降低了 50%以上。”
未来，HexaDB 将结合物联网行业的特定场景提供定制化解决方案，包括云边协同模式下边缘节点的轻量化部署方案，以及结合人工智能技术实现自动化的数据治理和优化等，积极助力物联网行业客户的数字化转型进程。小六也期待和更多客户共创物联网行业的最佳实践。
