网易首页 > 新闻中心 > 新闻 > 正文

MapGIS 10.5大数据产品功能提升

0
分享至

你是否看过这样的画面?全市数以万计的出租车运行轨迹展现在一张城市地图上,每一个光点都代表着一辆出租车,一个个光点连成一道道绚丽的光线,道道光线交织点亮了城市夜晚的道路,绘制出一幅灵动多彩的图画,以别样的方式展现城市的繁华,让人们得以洞悉城市奥秘。这就是GIS与大数据技术与融合迸发出的魅力!

海量大数据就像是五颜六色的颜料,把这些颜料组合调配,绘制成精美的画作,才能实现其价值,而GIS就像那支传说中的“马良神笔”。随着我国“新基建”的推进,数据中心新建和扩容步伐加快,数据量将剧增,如何进一步挖掘实现海量大数据的价值,抢占数字经济发展的快车道,成为当前亟需解决的难题。2020年7月全国产化GIS平台MapGIS 10.5九州发布,其IGServer-X大数据产品与web客户端产品积极拥抱大数据技术,以多项技术升级进一步提升对大数据存储、分析、可视化方面的能力,为城市的智慧化运营、推进国土空间治理体系与治理能力现代化提供科技支撑。

开启极简模式 一键安装大数据集群环境

通常,手工配置大数据存储和计算集群的过程较为繁琐,对实施人员Linux技术水平有一定的要求,为提升大数据存储和计算集群的安装配置的友好性,MapGIS提供了一键式辅助安装工具,基于中心化安装部署思想,简化繁琐的安装配置过程,用户无需具备Linux运维技能,只需要在网页端跟随流程引导简单操作,便能快速完成集群部署安装。这种一键式大数据集群环境安装有效地减少了与Linux系统直接交互的操作,降低了技术门槛,进一步提升工作效率。

实现对象存储与云盘存储集成,提高云端空间数据管理能力

在实际的生产应用中,经常会产生大量的非结构化数据,比如办公文档、文本、图片、各类报表、图像、音/视频信息等,这些数据具有文件个数多、大小不等、增长速度快等特点。为满足这类碎片化文件存储的需求,MapGIS 引入了对象存储技术,利用对象存储技术的快速扩充、效率高、无需迁移、访问方便、安全性高等特性,为碎片化文件存储提供了更高效、更低成本的云存储方式。完成了对象存储与云盘文件存储的集成,利用云盘存储强大的文件管理、权限管理等管理功能,以扩充对象存储的管理能力。并针对空间数据文件对象,实现自动导入到对应的空间地理库的功能,提高了云端空间数据管理能力,为云端应用提供支撑。

HBase矢量数据管理与分析能力增强

MapGIS空间矢量数据引擎PG-XL支持省级千万级TB体量的矢量数据管理与分析,受数据采集技术及精度的提升的影响,空间矢量数据的体量在逐步扩大,为适应国家级上亿级PB体量的空间矢量数据的管理与分析,MapGIS集成了HBase空间数据管理引擎,借助于Hadoop分布式、多机并行处理、横向扩展的存储架构,针对更新频率不高的矢量数据,基于HDFS建立高效的空间格网索引,提高数据读写效率,在千万级空间数据全量分析能力上,效率提升明显,效率相对于单机执行传统矢量分析性能提升近30倍。

应用场景:基于大数据分析方法进行土地利用流向分析

采用HBase矢量数据管理与分析功能,可以很好的解决在土地调查领域对土地变化流向的分析。在土地调查领域经常需要分析十年间各类土地变迁情况和全省基本农田压占情况,采用Hbase存储二调成果960万图斑和三调成果1800万图斑,并在此基础上进行全量叠加,快速分析出十年间土地利用流向。该成果可用于评估三调初始建库的准确性,也可作为后续掌握完整的土地变迁情况提供决策支持。另外,可将基本农田200万图斑和三调成果1800万图斑叠加,通过现状对比挖掘分析出基本农田被各地类的压占情况,为后续基本农田保护提供决策依据。

基于Spark的影像大数据分析模型增强

为了更好的管理海量影像数据,结合大数据技术,MapGIS推出了镶嵌数据集模型来管理海量影像数据。并基于Spark分布式弹性内存数据集RDD机制,丰富了影像分析模型,提供6大类21个影像分析模型。可Web端可视化建模工具,快速构建影像分析工作流,并将分析结果直接定稿内存,极大提升了计算效率。基于大数据技术进行TB级影像分析,效率相对于传统工作流提升50倍以上。

应用场景:基于影像大数据进行旱情分析评价

在基于影像大数据进行旱情分析评价的应用场景中基于MODIS遥感影像,覆盖全区域大概为期一个月的数据量为28.6T,通过进行植被指数分析,分离出植被指数和地表温度,结合水库储水量以及降水量数据,推算出该区域的旱情等级,再结合人口数据,可以推算出居民点的受灾情况。

基于Spark提升M3D生产能力

三维建模技术的发展极大地提升了建模效率,同时也带来大量的三维数据,其量级可达TB甚至PB级,传统单节点三维数据的处理效率已无法满足用户需求。为了更好的满足用户对海量三维数据建模的需求,MapGIS采用大数据技术,提升三维数据处理加工效率。基于Spark分布式计算框架,有效的从HDFS中加载海量倾斜摄影数据,通过对原始数据单体化、几何化简、纹理压缩等处理,通过节点合并、关系重构等计算形成LOD的M3D数据,有效提升了M3D生产的能力,效率相对于传统方式提升10倍。

当前,我国正逐渐从“数据大国”向“数据强国”转变,大数据技术在国民经济发展中发挥着重要作用。它是城市实现智慧化的关键性支撑技术,它是新时期自然资源事业发展的迫切需要,更是新基建发展数字经济的“新血液”,但这一切都需要我们以GIS这支“神笔”分析挖掘大数据的价值,真正掌握大数据! GIS与大数据技术融合,必将在这一进程中扮演重要角色!

相关推荐
热点推荐

“那样的话,中国大陆就真要进攻台湾了”

环球时报视频
2021-04-14 00:25:14

高速路“天量”罚单事件,该从中反思什么

中央纪委监察部网站新闻
2021-04-13 20:48:04

妹子这是刚战斗完吧,太明显了,男朋友的帽子要戴好啊!哈哈哈

蒙太奇印像
2021-04-14 00:50:05

浙江女海王?瞒着CEO男友与富二代订婚?男友全网曝光出轨细节...

Buy遍全球1004
2021-04-13 10:58:16

卡车司机在广东一超限站割腕要求复磅,警方:确有此事

大白新闻
2021-04-13 23:38:48

“上等人”重庆必胜客栽了

凡间事
2021-04-12 09:22:18

浙江杭州:结婚摆酒3年没领证,到民政局一查才发现女方不简单

野离离
2021-04-13 18:45:02

河南96岁奶奶摆摊30年,一句话点醒无数人,这才是最好的人生观

洞见
2021-04-13 23:36:06

河南周口:8个月大男婴吃苹果被卡喉咙死亡,父亲在地上打滚痛哭

小松社会趣闻
2021-04-14 01:51:44

市委书记带美女情妇参加饭局,看到豪车直接说:给她也买一辆吧

金牌办事员
2021-04-14 02:56:27

妻子任桂珍去世半年后,著名歌唱家饶余鉴与她在天堂团聚了

周到上海
2021-04-13 13:03:07

中国女足教练:对不起!球迷:不接受道歉,胜利与你无关!贾秀全下课!

体育委员刘老师
2021-04-13 23:04:02

王琳两入豪门的“狂野情史”,豪门也驾驭不了的雪姨

八圈传播者
2021-04-12 00:06:02

全人类都要断子绝孙!日本排放核污水,为啥西方沉默,美国支持?

酷玩实验室
2021-04-13 19:42:44

比杜蕾斯还胆大!台湾卫生棉广告翻车了!网友:恶臭至极!

首席营销官
2021-04-14 01:37:44

女儿还小,老婆还年轻!房产老总拒绝住院,5天后猝死!最后几条朋友圈令人唏嘘

新民晚报
2021-04-13 15:56:09

被全网三次痛骂,还能狂卖653亿!中国版Zara,为何越作越火?

金错刀
2021-04-13 10:00:46

从当红女星沦为18线,为了“讨好”粉丝,如今只能穿这样的衣服走穴商演!

八姐论八卦
2021-04-13 23:56:27

韩媒:中国球迷不戴口罩并且太密集,好像疫情已经结束一样

虎扑足球
2021-04-13 21:29:06

男孩踩碎石头被索赔80万 家长要全额赔吗?

个案说法
2021-04-13 22:00:55
2021-04-14 07:57:08

头条要闻

侠客岛:将核废水排入大海 日本真担得起这责任吗?

头条要闻

侠客岛:将核废水排入大海 日本真担得起这责任吗?

体育要闻

玫瑰铿锵!中国女足绝境逆转 进军东京

娱乐要闻

李小璐穿吊带露香肩 笑容甜美

财经要闻

科技要闻

官宣!苹果春季新品发布会定档4月21日凌晨1点

汽车要闻

车名注册了20年 东风雪铁龙全新车叫"凡尔赛"

态度原创

亲子
手机
房产
本地
公开课

亲子要闻

孩子入睡难,家长该怎么处理才好?

手机要闻

iPhone XR魔改iPhone 12以假乱真 虚荣心作祟?

房产要闻

大快人心!广州这些楼盘因虚假广告被罚百万!

本地新闻

30岁不结婚,丢脸吗?

公开课

入耳式、头戴式...哪种耳机对听力伤害最大?

×