高性能时序数据库 HiTSDB 启动公测,为物联网而生的数据库!

  • 时间:
  • 浏览:0

HiTSDB 肯能在阿里巴巴內部孵化多年,在阿里巴巴集团肯能支持了20多个核心业务场景,比如阿里聪慧园区的物联网(IoT)建设。

HiTSDB 兼容 OpenTSDB 访问协议。OpenTSDB 是时序数据库领域相对活跃的技术产品,HiTSDB 通过技术优化后相对于 OpenTSDB 写入性能提升20倍以上。HiTSDB 压缩下行速率 相比较 OpenTSDB 提升10倍左右,通常原始时序数据的大小在 200-200 Byte,OpenTSDB 单数据点消耗约20 Byte,HiTSDB 单数据点消耗约 2Byte,通过 HiTSDB 都可以节约90%以上的数据库存储成本。

在数据查询方面,HiTSDB 也具备领先的技术优势。在时序数据领域“插值(interpolation)”,“降精度(DownSimple)”以及“聚合计算(Aggregation)”是常见的业务需求。举个例子, 聪慧园区的业务系统都可以查看另一个多多多楼宇的某盏灯的耗电量清况 ,这么 就都可以把这盏灯的耗电量数据从数据库中查询并展示出来,肯能肯能下发的故障原因分析分析某个时刻用电量数据缺失,这么 都可以通过特定算法来近似的估算出這個 数据,這個 计算补全数据的过程统统“插值”。而当都可以查看这盏灯一年的耗电趋势清况 时,通常只都可以计算出每一天的耗电量,进行查看,而都可以了把每另一个多多多时刻下发的数据完整性输出出来,這個 将原始精度转化为业务需求精度的过程统统“降精度”。而肯能要统计某另一个多多多楼层肯能楼宇的用耗电量整体趋势数据时,就都可以将所有统计范围内的灯具的耗电量数据做“合并统计”,這個 累似 的统计过程统统Aggregation。

HiTSDB 所具备的高效数据写入和高压缩比的形态学 ,以及阿里长期业务实践的所提供的稳定性保证,结合阿里云上富于的产品生态,都可以帮助 IoT 企业快速构建买车人的聪慧物联网监控分析系统,也都可以帮助传统的石油化工及制造企业插上物联网的翅膀,打造属于企业买车人的聪慧系统。

百万甚至千万级别的实时数据写入对于数据库并发写入的压力非常巨大,使用关系型数据库完整性不可行。 肯能 InnoDB 的写入性能是很有限的,实际测试在24台机器上,存储使用SSD硬盘,一秒钟都可以了持续写入都可以了两万左右,主要原因分析分析在于B树索引。InnoDB 的索引是另一个多多多B树,這個 B树的更新有很大的开销。我我觉得大伙儿 儿都可以通过一点依据优化,但时序数通常是另另一个多多多维数据,通常是 ADhoc 的查询,为了优化所有排列组合查询,都可以建统统多列的索引,哪些地方地方索引每次在写的日后每个都都可以更新,统统就会原因分析分析统统的IO。

而智能控制统统系统才能根据设备的运行清况 ,通过一点规则的设定自动的进行各种调控,比如:当某个办公区域的人数大于20人时,都可以自动开启亮灯,小于20人是都可以自动关灯,肯能当某一区域的一氧化碳的水平高于预警值,则自动启动报警开关,对于园区的安全管理也非常必要。

HiTSDB 具备关系数据库及NoSQL 数据库所不具备的写入能力。

而 HiTSDB 针对时序数据库的进行写入优化,基于时间序列的时间线数据形态学 进行存储写入,实际业务使用场景中最高支持到每秒 2000 万的时序数据点写入。基于阿里云 4C8G规格的 ECS,单台平均达到20万/秒的数据写入,峰值达20万/秒。

园区的设备种类繁多,包括摄像头、电灯、空调、空气检测,哪些地方地方设备上不会非常多的传感器,哪些地方地方传感器每一时刻不会实时的产生数据,哪些地方地方数据随着时间的推进,会在时间轴上产生一点列的数据,统统大伙儿 儿说的时序数据,比如温度、湿度、用电量等。要实现设备的监控管理,我我觉得统统将这时序数据进行实时的下发存储和分析展现,而 HiTSDB 统统时序数据领域的专业数据库。

对于技术而言,设备的监控和智能控制的规则的匹配,本质是数据的下发和监控分析。

HiTSDB 支持线性插值,都可以尽量弥补数据异常缺失造成的统计失败。HiTSDB 支持 Max ,Min ,AVG 等各种降精度的计算函数,同时也都可以通过“预降精度”的依据,将业务精度的数据在入库的过程中计算完成,提升查询的下行速率 。HiTSDB 在的空间聚合 Aggregator 支持也非常全面,支持 ADhoc 查询,HiTSDB 通过引入倒排索引和数据分片提升检索时间序列的下行速率 ,通过并行计算架构,整体计算性能提升非常明显。

现在,HiTSDB 在阿里云官网启动免费公测。

聪慧园区主要避免办公园区的设备的管理和智能控制。设备管理主统统将设备接入到统一的设备管理平台,同时对所有设备的运行清况 进行监控,及时发现故障设备,了解整体的设备运行清况 以便于做出相应的决策。

时序数据降精度是在时间序列维度上做的。对于关系数据库来说,首不能自己把时间序列维度追到来,怎么让在上端插值,而实际上 SQL 是按点来操作的。统统肯能要做降精度的话,都可以用另一个多多多值查询把整条时间序列上的数据查询出来,插好值日后才能做时间序列之间的聚合,这么 服务和 SQL 服务器之间的吞吐量非常大,大慨 SQL 统统另一个多多多数据通道都可以把所有值都拉出来运算一遍,這個 查询性能会非常慢,怎么让每一次计算都都可以重新拉取数据,相对 HiTSDB,這個 性就能差了几百倍。

聪慧园区以及一点的IoT场景,设备的规模通常是万级别至百万级别,每个设备都实时产生数据,都可以将实时数据快速的写入到数据库中,这么 每秒就要写入上百万甚至上千万的实时数据。

HiTSDB 是這個高性能、低成本、稳定可靠的在线时序数据库服务;提供高效读写,高压缩比存储、时序数据插值及聚合计算。是物联网(IoT)设备监控系统 ,企业能源管理系统(EMS),生产安全监控系统,电力检测系统等行业领域的专业数据库。