网易首页 > 网易号 > 正文 申请入驻

EMQX+阿里云Tablestore多场景一站式IoT数据解决方案正式发布

0
分享至

在不久前落幕的2022阿里云全球数据湖峰会上,EMQ与阿里云联合发布了一站式工业数字化解决方案的构想这一方案的实现基于云原生分布式物联网消息服务器EMQX和阿里云表格存储 Tablestore的高效集成,结合EMQ物联网数据基础设施产品矩阵中的其他边缘计算产品,实现边缘工业数据到云端的综合接入、汇聚与清洗,以及后端大数据分析和应用。

经过双方研发团队的共同努力,目前EMQX与Tablestore已正式完成技术对接。结合双方产品在数据采集和存储分析方面的优势,EMQ与阿里云共同打造了一套更加通用、适用于更多行业场景的一体化解决方案。

合作背景

物联网应用场景往往面临多元化数据存储的需求,EMQ云边一体化产品组合通过边缘的协议接入、数据清洗以及云端强大的规则引擎,可以实现元数据、消息数据、时序数据的一站式集成对接能力。

在IoTstore组合存储方面,客户大多是通过开源产品组合方案(Mysql+ES+HBase+OPENTSDB等)实现,技术架构、运维等往往成本较高,Tablestore则通过一体化架构,为IoTstore提供了大规模、免运维、低成本、易扩展的解决方案。

EMQX+TableStore有高度重叠的应用场景和目标客户,可共同为企业客户提供一站式的物联网消息通信、数据集成和IoT数据存储服务。

方案详解

产品介绍

  • EMQX:云原生分布式物联网消息服务器

EMQX通过一体化的分布式MQTT消息服务和强大的IoT规则引擎,为高可靠、高性能的物联网实时数据移动、处理和集成提供动力,「随处运行,无限连接,任意集成」,助力企业快速构建关键业务的IoT平台与应用。

以EMQX为核心,结合物联网边缘工业协议网关软件Neuron、超轻量边缘MQTT消息服务器NanoMQ以及超轻量物联网边缘数据流式分析引擎eKuiper,共同构成了EMQ面向未来的现代物联网数据基础设施。在边缘侧可以实现工业协议适配、边缘轻量级消息服务、边缘流计算(数据过滤、清洗、聚合与AI推理扩展),在云端则可实现全网络、多协议的海量消息接入能力,强大的规则引擎实现IoT数据的编解码、数据转发、数据持久化等灵活集成能力,为后端大数据分析和应用提供可靠的数据支撑,构建云边一体化的IoT基础设施能力底座。

  • TableStore:一站式物联网存储IoTstore

表格存储(Tablestore)是阿里云推出的一款云上的结构化数据存储产品,面向海量结构化数据提供Serverless表存储服务,具备极为丰富的产品功能和生态,提供了物联网存储IoTstore、宽表引擎、多元索引等能力来满足时序数据、消息数据、元数据场景的需求。同时针对物联网场景深度优化提供一站式的IoTstore解决方案,提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。

表格存储Tablestore提供的Serverless服务模式极为适合物联网数据存储,计算和存储均可独立弹性扩展。在使用过程中无需关心存储容量和计算扩容,存储容量可弹性扩展至PB级,提供冷热分层存储大大降低存储成本。底层对设备元数据进行多维索引,满足灵活的设备检索需求。提供SQL能够对时序数据进行查询和分析,灵活的满足数据分析需求。

方案架构

该方案通过EMQX的规则引擎实现与Tablestore集成,用户可以利用可视化的规则引擎配置界面,快速便捷实现设备元数据、时序数据、消息数据快速集成入库。

EMQX与Tablestore团队针对产品高效对接都做了专项优化工作,实现了多元的IoT数据高效存储集成。通过Tablestore一体化架构,为IoTstore提供大规模、免运维的低成本、易扩展的一站式解决方案,有效解决了数据库产品的技术选型、分类存储等技术难点。

EMQX+Tablestore联合解决方案为企业客户提供一站式的物联网消息通信、数据集成和IoT数据存储,可以广泛应用于车联网、充电桩、IM消息、物联网、智能推选等应用场景。

以车联网场景为例,该场景涉及很多车况感知数据上报和车控消息的下发,车辆定时会更新当前的最新状态信息,如发动机当前转速、当前车速等。这些描述车辆最新状态信息的数据我们称之为元数据;而在智能汽车行驶过程中,车辆的状态数据会随着时间而变化,如车辆一段时间内的车速、胎压等,这些描述车辆历史状态信息的数据我们称之为时序数据;还有一种数据场景是对车辆行为进行控制的指令消息,例如通过车主的手机APP远程开启空调的车控指令下发和执行结果反馈,这些控制指令的上下行被称为消息数据。

不同类型的数据应用的场景各不相同,所以对存储系统的需求也有所不同。我们之前可能需要通过MySQL、Kafka、Redis、HBase等多套不同的数据库产品来融合实现,而现在我们则可以基于EMQX+Tablestore轻松实现一站式数据采集与存储。

方案实践:如何实现EMQX与Tablestore的对接

创建数据库实例

*注:创建实例操作步骤请参考Tablestore官方文档

点击实例管理,点击时序表列表。创建时序表。

点击上一步中创建的时序表,进入时序表管理。点击数据管理,创建时间线,按照业务设计创建出时间线。

创建规则引擎资源

登录EMQXDashboard,点击规则引擎-资源-创建资源,下拉框中找到阿里云表格存储Tablestore(时序)

使用创建出的实例属性,填写对应Tablestore服务器实例名称

AccessKey&Secret需要使用阿里账号申请(详细申请步骤请参考阿里云说明文档:为RAM用户创建访问密钥,链接地址:https://help.aliyun.com/document_detail/116401.htm)。

服务器地址请按照部署方式的不同,填写不同的域名。

创建规则

规则中SQL语句的编写,请参考官网文档中规则引擎章节。

创建动作

表名与度量名称,请按照创建的表名与度量名称填写(度量名称可以为空字符串)。

开启同步写入之后,规则引擎将按照批量大小与批量间隔写入数据,以提高高并发场景下的服务性能。

Tablestore支持的数据格式:

  • int
  • double
  • boolean
  • string
  • binary

这些格式可以被规则引擎自动的识别并分类。但是字符串型数据,默认处理方式为二进制数据,以保证最佳的兼容性。如果需要指定字段值为字符串类型,可以在创建动作时,将字段填写到字符型数据列名中。之后会则引擎会按照字符串的格式方式处理改字段值。

生产测试数据

使用先进的桌面MQTT客户端MQTTX,登录设备,并发送一条数据。

输入度量名称(演示使用的是m_re2),clientID为123456,我们使用client=123456作为查询条件,点击查询。

至此,我们可以看到数据已经写入成功。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
4名指挥官同时被斩,有大鱼,真主党成以色列消灭哈马斯筹码

4名指挥官同时被斩,有大鱼,真主党成以色列消灭哈马斯筹码

移光幻影
2024-06-13 07:50:34
中纪委网站通报:5名省管干部同日任上被查!其中1人一周前还出镜谈考察感受,1人还出席了签约仪式

中纪委网站通报:5名省管干部同日任上被查!其中1人一周前还出镜谈考察感受,1人还出席了签约仪式

鲁中晨报
2024-06-12 10:11:08
前朝鲜国脚:疫情期间韩光成曾在朝鲜驻华大使馆独自训练了几年

前朝鲜国脚:疫情期间韩光成曾在朝鲜驻华大使馆独自训练了几年

懂球帝
2024-06-15 11:54:10
张呈栋、于大宝遭声讨,疑似谢场时与国安远征球迷发生不愉快

张呈栋、于大宝遭声讨,疑似谢场时与国安远征球迷发生不愉快

直播吧
2024-06-15 23:50:12
姜萍数学老师一夜成名,多所大学发出邀约疯抢,师生相互成就

姜萍数学老师一夜成名,多所大学发出邀约疯抢,师生相互成就

素素娱乐
2024-06-14 14:08:41
美国即将出局!中国提前上岸,荷兰掌握主动,女排总决赛7席已定

美国即将出局!中国提前上岸,荷兰掌握主动,女排总决赛7席已定

排球黄金眼
2024-06-16 02:35:23
山东一新郎与父亲布置婚房,没想到竟被父亲活活锤死

山东一新郎与父亲布置婚房,没想到竟被父亲活活锤死

一度历史观
2024-05-22 16:25:36
女排3比2逆转土耳其 球员评分:5人满分,1人良好,4人及格

女排3比2逆转土耳其 球员评分:5人满分,1人良好,4人及格

篮球资讯达人
2024-06-16 00:29:11
重庆一小车冲出马路坠落进小区,物业:有居民被砸中

重庆一小车冲出马路坠落进小区,物业:有居民被砸中

极目新闻
2024-06-15 19:33:38
又帅又能踢!23岁7个月21天,索博斯洛伊成欧洲杯历史最年轻队长

又帅又能踢!23岁7个月21天,索博斯洛伊成欧洲杯历史最年轻队长

直播吧
2024-06-15 20:17:54
事关工资上涨!吉林省公开征求意见

事关工资上涨!吉林省公开征求意见

城市速递
2024-06-15 22:07:40
事态升级!央视工作人员硬刚周也,周也翻白眼视频也曝光了!

事态升级!央视工作人员硬刚周也,周也翻白眼视频也曝光了!

古希腊掌管月桂的神
2024-06-15 11:34:15
革命性突破!美企成功研制核电池,几乎无辐射,电量够用100年

革命性突破!美企成功研制核电池,几乎无辐射,电量够用100年

十三级台阶
2024-06-15 15:51:27
凯特王妃回来了,神采飞扬带着三个孩子露面,网友:打了一场胜仗

凯特王妃回来了,神采飞扬带着三个孩子露面,网友:打了一场胜仗

综艺拼盘汇
2024-06-16 00:37:44
总决赛G4,绿军是放水还是真的打不过?

总决赛G4,绿军是放水还是真的打不过?

舟瑜
2024-06-15 12:20:46
等待官宣!巩晓彬正式出山,山东男篮保八争四提上日程

等待官宣!巩晓彬正式出山,山东男篮保八争四提上日程

篮球前线CBA
2024-06-15 20:41:57
保护自己能量最好的方式

保护自己能量最好的方式

洞见
2024-06-14 22:27:05
一鼠不留!南非欲海岛空投550吨老鼠药,消灭正在啃食海鸟的老鼠

一鼠不留!南非欲海岛空投550吨老鼠药,消灭正在啃食海鸟的老鼠

怪罗
2024-06-14 15:13:44
6月15日,以军基地被炸,土耳其不宣而战,菲律宾船员弃船逃生

6月15日,以军基地被炸,土耳其不宣而战,菲律宾船员弃船逃生

笔墨V
2024-06-15 22:49:39
姜萍数赛夺12名后续:13名刘奔上热搜,本人发声回应,评论搞笑

姜萍数赛夺12名后续:13名刘奔上热搜,本人发声回应,评论搞笑

180°视角
2024-06-15 12:39:00
2024-06-16 05:02:44
EMQ映云科技
EMQ映云科技
杭州映云科技有限公司
176文章数 0关注度
往期回顾 全部

科技要闻

TikTok开始找退路了?

头条要闻

欧洲杯-亚马尔创纪录卡瓦哈尔首球 西班牙3-0克罗地亚

头条要闻

欧洲杯-亚马尔创纪录卡瓦哈尔首球 西班牙3-0克罗地亚

体育要闻

莱夫利,让困难为我让路

娱乐要闻

江宏杰秀儿女刺青,不怕刺激福原爱?

财经要闻

新情况!高层对人民币的态度180°转弯

汽车要闻

东风奕派eπ008售21.66万元 冰箱彩电都配齐

态度原创

时尚
家居
手机
公开课
军事航空

艳压四方的刘亦菲,也没能赢她

家居要闻

空谷来音 朴素留白的侘寂之美

手机要闻

小米澎湃OS再次公布进展通报:多项问题优化中,且全是内置应用!

公开课

近视只是视力差?小心并发症

军事要闻

普京提停火和谈条件 美防长迅速回应

无障碍浏览 进入关怀版