以下是Esri中国信息技术有限公司副总裁沙志友先生,以《智能GIS的地理大数据技术实战》为主题的精彩演讲实录(未经本人核实)。

沙志友:GIS发展到今天有什么困难呢?还是有很多挑战,包括地理信息数据获取的手段,越来越丰富,但是同时获取的成本也在降低,使得我们的数据种类,真正的地理信息变成大数据。
这些大数据的价值如何进行体现?以及单体的价值,大家看起来,价值还不是太大,但整体的数据量上来以后,大数据价值如何进一步的深度挖掘和分析?另外是我们的GIS系统建设周期,要求越来越短,相信在座的各位和我一样,有很深入的感受,有很多的用户需求,能不能给我建一个系统,三个礼拜或者两个礼拜上线,直接符合我的系统拿过来直接用就可以了。
还有另一个挑战,GIS发展到今天,已经建设了大量的信息系统,传播的已有的信息系统,如何进一步发挥价值,如何解决信息集成和数据共享问题,这又是一个挑战。
每一个岗位和角色,每一个系统之间的共享和分享需求,协同工作的需求,要求越来越强烈,因为每一个人都讲究信息化,都在采用信息化的舍短去解决日常工作中遇到的困难,和过去相比,GIS并不是某一些专业人员所能使用的系统,是所有的这些人员,包括单位内部的领导和一线的人员,所有的系统包括日常的办公系统,或许都需要使用,我们现在获取系统的手段很丰富,每个人都有自己的平板,也有自己的手机,通过这些事儿,按理说都应该能访问地理信息系统。
现在这些系统是否伴随着技术的发展,提供相关的技术呢?我们的系统建设是否是有点力不从心,带着话题,我们现在的GIS系统建设是呼唤着全新的地理信息系统技术的出现,把它称之为智能的GIS,为什么?
因为GIS并不是自己独自发展的,是和业内的全新技术结合在一起的,比如最简单的,这几个词大家非常熟悉,云计算、大数据、五莲王移动互联网,每一项都在深切影响我们的地理信息系统,地理信息的技术,物联网影响的是地理信息系统获取和感知的手段,而云计算影响的是我们的信息系统建设的架构。大数据影响的是决策和分析的方式和思维,移动互联网影响的是获取和使用地理信息系统应用的方式和渠道。
时间关系,我在这儿不能把智能的GIS整个技术分享清楚,在这些就具体的大数据环节,给大家分享一下,到底我们在大数据这一块有什么探索。
如果要解决地理大数据的需求,必须要分析大数据的时代,随着各项技术的发展,地理信息的获取手段有更多样化的方式,更低的成本。又增加了许多的一黄色部分标志的地理一方面的内容,使得地理数据真正变成了大的数据。
对于地理大数据,除了数据的种类和获取方式有变化,对地理数据的使用的需求有一些全新的思考和转变。第一是地理大数据到底是不是数据的样子的变化,大家肯定是否定的,地理大数据一来数据量确实上了很大的台阶。
第二有很多方面的特色,刚才很多专家认识到了,在这儿我只补充一句,就是地理大数据种类发生了变化,有结构化的数据、非结构化的数据,有视频的数据,从过去的数据变成了4维高频的数据,这代表地理大数据如何接入物联网传感器各种信息,这是第一个地理大数据,并不仅仅是数据量的变化。
第二地理大数据带来的分析方式和过去有很大的区别,从过去传统的审慎的角色,变成了过去高效的角色,过去数据获取成本很高,使得数据量少,在有限的数据情况下,要做一个靠谱的结果,必须要经过缓慢的算法才能得出。
现在的数据非常大,是一个总量的数据,拿着总量数据,只需要把数据放在里面,大家肉眼就能看出来,就可以得到快速的决策的结果。大家知道在上海发生的踩踏事件,过去大家会说对普通人群的监测,如果大家拿着手机,几十亿条数据同时监测外滩的情况,可以快速的获取结果,来帮助我们进行实时的快速响应,避免悲剧产生。
第三是大数据是资源,必须通过交换共享才能发挥价值,这和需求是一致的,数据要在我们的角色和部门以及系统之间才能承载,这是为什么很多地方都在成立大数据交易所的原因,正因为地理大数据需求发生了变化,对我们的技术和关键的基础也产生了很大的挑战。
第一是数据采集和接入的方式发生了变化,因为数据来源发生了变化,怎么通过地理信息的软件技术,接入数据?第一无人机,大家知道无人机现在非常低,每一个人都可能买得起,都可以用无人机做类似的事情,比如去野外把地拍了一圈,回来地理信息的照片,就可以做一个影响图,时间非常短,一个小时的时间就可以通过无人机获取地理大数据。
不仅可以进行影像,还可以有地表的信息,直接获取城市的三维模型,成本和过去相比,大数据给我们带来了很大的变化。
物联网的数据信息,有很多和这个相关的,包括三类,第一类是位置变化的信息,车辆和人员,第二是位置不变,但是状态发生变化的信息,各种传感器和温湿度的信息。第三是发生各类事件的信息,城市的各种活动和物件的变化,各种案件险情的变化,我们同样在地理信息软件中需要直接去管理和接入这些数据信息,这是直接接入的,飞机对机场周边影响的噪音传感器的监控,这是直接接入社交网站的发到微博的信息,这是大数据时代,我们对地理信息技术的改造。第三个数据来源是既有的数据,很重要的数据来源是已有系统的数据,这是我们的财富,需要充分的利用起来,通过数据创造数据创造价值,如何直接去管理和使用已有既有的数据?这是一个方式,我们需要对数据进行清洗管理清洗加载,在大数据时代大家听到一个最熟悉的词就是数据的清洗,怎么做?对已有的数据进行清理。
第二对地理大数据的分析挖掘技术,传统的地理信息的强项,就是对信息的挖掘,有很多的空间分析的方式,最简单的一条道路周边200米是一个铁路的缓冲区,在大数据时代,过去传统的地理分析的技术,是否能满足大家的需要?这张图是纽约出租车的1.7亿数据,通过1.7条数据按照传统的GIS方式做热点分析,几乎不现实,所以很多企业,他们是自己写一写算法,这对地理信息和传统产生了大的挑战,我们需要创新从过去的单点的计算变成分布式的计算架构,这是对基础的软件提供了一个高的目标。
这是全新的地理信息软件的架构描述,不给大家详细介绍了,这是离线的数据计算。如果对实时的数据接入和离线的接入有一点不同,不同在它提供了数据流的抓取和动态处理的能力,以及动态输出的能力,这是对实时地理大数据的改造。
通过这方面的改造,我们可以得到更为优秀的地理分析技术方面和能力方面的提升,比如这个体现了1.7亿条的纽约出租车数据进行分析的一些成像,随着计算节点的增加,整个计算的时间是极大的缩短,可以保证我们快速的得到最终的结果。
我们通过对电信的,广东省的电信数据,是2T左右,26亿条数据,作为一个简单的网格的聚合中心,可以反映全省的经济和龙头分布情况,可以反映某方面的特征变化,这个计算也同样通过全新的地理大数据的计算,可以快速的得到结果。第三个案例是对金融交易方面的分析,大家说金融交易不是普通的交易数据吗?怎么有位置信息?很多的交易是通过ATM机进行的,每一个都有位置,我们可以通过数据来发掘一些违规操作,比如如果在同一段时间,一个小时之内,所有ATM机往同一个帐号进行转账交易,大家想肯定有猫腻所在,通过这些计算可以快速的挖掘这个交易当中的特殊的数据。
在GIS传统领域国土领域也进行大数据分析,进入一个简单的查询操作,也很难,如果按照传统的地理信息技术很难实现,必须要大数据分析的方法。
刚才说的那些是对点、线、面一些数据的计算,我们同样也需要进行改造,这是对光伏电厂的计算数据,输入的是什么?是整个区域的降雨量、温度、地表覆盖等数据信息,这些数据信息也可以进行计算,这是在计算层面上呼唤全新的地理信息技术。
第三是展示层面,因为大数据有很大的特点,不可能按照过去的方式,把每一个要素展示出来,所以需要创造新的方式方法,第一个方式是解决了多来源的大数据展示,怎么展示?采用的是多图表联动的方式解决多数据来源的展示问题。第二怎么解决时空数据的展示问题,除了哪一个时间播放视频之外,还可以通过时空立方体展示地理信息,什么意思?XY是空间的分布,纵向是时空的分布,我们可以做不同方向,可以直接进行分析。第三是当数据量上来,在地图上怎么展示?在座各位都不想看到这张图,没有任何意义,看不到任何规律,进行地图刷新很慢,需要新方式,通过网格聚合方式,每一个王和谐一个数字,告诉大家有多少数字,也可以从空间分布角度来呈现,通过这些有技巧的方式,来对大数据进行可视化的操作。
这些只是单纯技术方面,是否能支撑地理大数据系统的建设,还是需要很多的架构考虑。
第一个架构是单节点地理大数据中心,如何建设?基础层面是围绕云的基础设施,其次是地理大数据存储模块,可以支持多样化数据的,除了关系型的还有非关系型的管理,这方面要搭建不同需求的框架,你有食量计算有的是非结构化的,然后构建统一大数据的服务接口,这是直接接触的门户,最后需要后台的运营管理平台,这是单中心的地理大数据结构,很多时候特别大数据时代,多个中心多个部门之间的联动和需求越来越强烈,单中心并不能满足大家的需求,所以这个时候我们还有很多的多中心的模式。
第一个模式是物理上集中,逻辑上分开的架构,逻辑上遇到了级别的平台,物理上是分开的状态,时间上不介绍具体架构。
最后一个架构是我一个独立的中心,不能满足大家所有人的需求,我也没有能力做物理的东西,要联合多个不同的部门,构建大数据的平台,这时候很容易理解,多个物理分开的大数据中心,这些大数据中心,可以通过非常好的手段,把数据中心的管理和数据的流通,服务接口的流通,变成统一的整体。统一的整体依然对更多的部门提供服务,这是物理分开的多中心联合的大数据系统建设框架。时间关系不展开讲。
总结一句话,我们有很多对应的解决方式和方法,这和我们的技术是分开的,无论是大数据、云计算、移动互联网,这些所有的技术融到了地理信息的领域,影响到了地理信息的软件,产生了智能化的GIS的发展,这是为大家提供的基本的发展和趋势的汇报,报告就到这儿谢谢。

{{item.content}}