分享
Scan me 分享到微信

极海崔福东:云计算让地理能力触手可及

在云计算的技术背景下,我们如何能快速的获得地理能力,并且能够去解决地理问题?

  2017年 6月13日,由泰伯网主办、主题为“空间大数据的崛起”的WGDC2017,在北京国家会议中心盛大开幕。大会由空间信息产业创新创业服务平台泰伯主办,秉承不断引领和促进空间信息技术创新与变革的宗旨,WGDC已走过六个年头,如今成为全球最具前瞻性的跨界创新风向标。

  14日,空间大数据+人工智能峰会(极海纵横专场)开幕。峰会上,来自GeoHey·极海的崔福东发表了以“云计算让地理能力触手可及”为题的精彩演讲。以下为演讲实录(未经本人核实):

泰伯网

  崔福东:大家上午好!今天和大家聊一个话题,在云计算的技术背景下,我们如何能快速的获得地理能力,并且能够去解决地理问题。

  大家都知道,现在地理数据已经非常的丰富,所以说,越来越多的行业开始知道地理数据有很多的价值,比如说在房地产行业,就通过分析商圈来给潜在的用户画像,以此决定我要不要拿这块地,拿到地之后设计什么样的户型才能卖的好,零售行业分析用户和POY之间的关系,挖掘我潜在用户的空间分布,以此为新的店面选址提供新的依据。通过地理技术去挖掘地理数据的价值越来越被看作是一种能力。但是实际去做的时候就会发现这里面困难重重。比如说专业知识的门槛,数据的缺失,以及地理大数据本身带来的一系列的技术问题等等。这些不光光是成本,有可能会导致你的计划根本就无法实施。

  前段时间我们就有一位地产行业的用户面临这样的问题。地产行业对于城市的地块非常看重,很多分析都是围绕地块来展开的。之前这类分析的工作,都是交给第三方的咨询公司来做的。现在他们打算自己来做,所以由总部来制定解决方案,成熟之后,给全国的20多家分公司去做培训推广。总部使用传统的方式去做传统的专业软件,发现专业性太强了,很难在短时间内去掌握,更不用说还要全国去推广,后来他们很快在极海平台把这块业务做了起来。经过他们的允许我录了一段视频,这个就是他们做的一个针对一个城市地块分析的结果,通过这个例子可以看出来,对于没有任何地理技术背景的人来说,能够这么快的速度把地理技术融入到业务流程里面去,并且取得突破,我觉得这个是挺令人欣慰的一件事情,也意味着地理技术并没有你想想中的那么难,关键你要采取什么样的形式。

  极海平台现在要做的事情把地理技术的专业性和复杂性,放到云端。所以在极海平台里面不光有存储资源,计算资源,还有专业的分析模型,还有丰富的地理数据以及满足不同需求场景的服务和在线工具。

  所有这一切对于用户来讲都是透明的。所以下面我就结合一些实际的需求场景给大家介绍一下极海平台到底能解决什么样的问题,以及面这些问题的时候,是如何去解决的?

  我们先来看第一个场景,给250万的轨迹点做一幅热度图,这个需求来自一位中科院的博士,他有一个研究课题,课题内容是通过用户的位置交互信息去预测用户之间的关系。类似的需求以前都是自己去写一些代码,用前端可视化的技术就解决了,但是这次250万,数据量太大了。大家可以想象一下如果你手里现在有这份250万个点的数据,最快的速度做出一幅热度图来,你会采取什么样的方式,本质上来说这是一种对海量数据进行可视化的需求,我们看看在极海平台怎么解决这个事儿?这是一个在线工具,我们把这些数据选择出来,总数有254万,密密麻麻的看不出什么信息,简直配置一下,半径缩小,去掉外边框,然后再换一个颜色,为了让点密的地方更突出一些我们选择一种渲染模式,大家可以看到,越密的地方就会显得越亮。切换到热点图,然后再简单配置一下,默认的设置就这样了,就看不出来。然后我们把热点的尺寸改成地理单位,半径改成500米,所以看这个热度图已经很正常了。如果大家觉得不过瘾的话想更多的突出热点我们把半径再缩小一点,300米,大家可以看到原来密密麻麻的250个点,现在变成这样几个热点的图了,操作起来是很容易的。

  我们看一下这个过程里面在极海的云平台都发生了什么事情?首先第一件事儿,数据得先上来,数据得先录入到平台里面,说到数据大家或多或少面对一些问题,不同来源的数据有不同的格式,有的有坐标,有的没有坐标,又或者说坐标系不统一,你要用之前得想尽各种办法先把坐标系统一,为了解决这些问题,接下来提供了一个全国式的录入工具,还支持像Excel这样的文本数据。数据录入到平台以后云端会做一系列的工作,通过地理编码把地址信息转成坐标,比如说,把不同的坐标系统一成你这个坐标系。如果数据量比较大,还要实现海量数据的快速存储。

  更重要的一点,数据一旦进入到平台以后,数据本身也就变成了一种服务,我们就可以通过数据的服务接口操作这个数据,别的服务也可以来用这个数据,比如说我对这个数据做可视化,做空间分析等等。在整个数据录入的过程里面,用户需要做的就是通过浏览器选择你要上传的文件点一下上传就好了。依托云端的计算能力,在极海平台导入千万级的文本数据5分钟以内就能完成录入。

  数据进入到平台以后你还可能需要对数据进行纠错,追加新的数据,所以我们提供了另外一款在线工具,对数据进行维护。通过这款数据编辑器可以很方便的维护自己的数据,而且数据的更新是同步的。下面重点来了,我详细介绍一下刚才我们配置250万热点图的时候,云端都做了哪些事情,之所以我们通过浏览器对百万级的数据进行可视化的配置,是因为我们配置了地理大数据的可视化服务。大家如果做过可视化方面的开发的话就会知道现在前端的渲染能力是非常强悍的,能做出非常酷炫的效果,所以极海采取的一种云端和前端相结合的方式,充分发挥云端的计算优势和前端的渲染能力,解决大数据的渲染问题。极海采取了动态切片的渲染技术,对数据进行实时的切片,交由前端渲染,就像我们刚才演示的越密的地方越发亮的效果。

  但是有些情况,就要继续发挥前端的渲染优势,比如说针对带有时间属性的数据,我们把这种动态切片变换成了另外一种格式,把切片在时间维度上分层,形成一种数据的立方体的结构,这种数据的立方体的结构计算量非常大,我们在云端计算好,因为是分层的,在前端就可以通过技术把它动态的绘制出来,我们看一下这个例子。这就是250万个点,通过时间的属性做了一个时间序列的图。其实我们刚才说这种需求,实际上是一种非常普遍的对海量数据进行可视化的需求。通过这个例子我们也能发现,如果想去挖掘地理大数据的价值,哪怕事先看一看这么简单的事儿,也必须依靠云端的强大资源才能很好的解决它。

  我们看第二个场景,为城市地块去统计POI的密度,这个也是我之前介绍到的房地产行业的用户需求,这个稍微复杂一些,刚才只是看一看,现在需要一些空间分析了,要做这件事儿有几个条件,首先你得有地块的数据,然后你还要有POI的数据,还要有一个统计模型。

  对于科班出身的人来讲可能这个需求过于简单了,不就是点和面做一些简单的空间分析吗?我们看一看极海怎么把这个事儿变得更简单。我们也提供了一个能运行各种空间分析模型的在线工具,我们看一下这个模型怎么做。选择城市地块的数据,再选择一些POI的数据,勾选一下我要统计一下密度,点运行,这样在云端就会运行一个区域统计的模型,用我们刚才选择的数据。我们看最后的结果,最右侧是分析的结果,刚才操作的过程,大家应该已经注意到了,我去选择数据的时候,地块数据是从用户的数据里面选择的,而POI数据是从公共数据里面选择的。也就是说,你要去做这样的工作的话,你只需要把地块数据上传上来就可以了。POI的数据,分析的模型,极海平台都已经提供了。当然如果说你没有现成的地块数据也没有关系,我们之前介绍的数据编辑器,大家可以线上去划这块数据。

  所以这个地方要特别介绍一下极海的公共数据服务,大数据时代,大家对于数据的感受是不一样的。有人会觉得说,我想找到一份能真正去用的数据简直太难了,另外人家说互联网时代了哪儿都是数据。但是实际情况呢,在真正的业务分析的过程里面,对数据的质量要求是非常高的。因为数据分析的目的是什么?是做决策,错误的数据会导致错误的决策。所以说你想获取真正能指导你业务决策的数据是有很大难度的。所以说极海平台把数据作为很重要的一个组成部分,极海把自己积累的数据开放出来,在平台上以公共数据的方式供大家去使用。目前为止,极海的数据已经积累了十几个大类,数据量达到亿万量级,涉及到不同的行业,不同的领域。而且数据时刻在更新迭代,最快的数据每小时就会更新一次。

  而且在极海有专门的数据团队,提高数据处理的效率,通过智能数据的处理技术,改善数据的质量。所以说如果大家找不到数据,有数据的需求不妨先到极海平台来看一看。

  我们再看一个更复杂一点的需求,用840万路口数据研究城市蔓延,这个需求来自我们一个规划行业的用户,他想通过道路网的密度去研究城市蔓延。具体做法就是把全国的十字路口数据提取出来,然后用覆盖全国的半径一公里的格网去做分析,统计每个小的格网里面每个里面有多少路口。要做这个事儿也有几个条件,一是首先有路口数据,你要有格网的数据,你要有基于格网的统计的模型,而且这个数据量比较大,对计算资源要求也比较高。大家可以想象一下如果按照传统的方式,会用什么样的步骤去做?大概需要多长的时间才能完成,我们看一看在极海怎么来做这个事儿?

  这是最终的一个分析结果,这些密密麻麻的点实际上是小网格,我们把地图放大到北京市的范围。其实大家可以看出来,城市的轮廓已经被小的格网已经勾勒出来了,我们明显能看出来北京的东城西城要比其他地方密集的多。但是结果有些让人意外,这个地方是通州,通州的密度还没有燕郊的密度大。我们再来看一下,840万的路口的数据加上覆盖全国半径一公里的格网,大家觉得需要多长时间把这些工作做完?在极海15分钟就完成了。也就是说你选了数据,按了一个确定按纽,刷个朋友圈就搞定了,这个里面不需要大家提供格网数据,尤其要求你等面积的时候,可能也不是那么容易去做,这个网格也需要大家准备,在模型里面自动生成,你需要指定一下半径就可以了。通过前面三个场景,我们其实能看出来在极海平台里面融入了技术还有模型还有云端强大的计算资源,这些能力大家获取的成本是很低的,注册个帐号就可以了。所以大家可以感受一下这种方式和传统方式的区别。

  我们再看一个比较轻松的场景,分享,大家都有分享的需求,没事发个朋友圈,把自己做的好的东西让别人也看到,云计算背景下,让分享这个事儿变得特别的简单。比如说我们前面提到的地产用户,以前做汇报,现在做图,做完图截图,截完图放在PPT里面。现在把一个可操作的地图变成成果的一部分,能展示很多的细节,极海平台一开始充分考虑了如何让用户非常方便的把成果分享出去。

  我们看几个例子,这是北京城市实验室BCL的官方网站,把他的研究成果在极海平台发布出来,再嵌入到他的官方网站上去。再比如说这是一篇博客,把博客里面涉及到的内容,也做成一个可操作的地图,然后放到博客里面。再比如说,这个是一个微信的公众号,Glser学习团,他们一次线上交流的时候,把极海平台的操作成果放在里面,你自己在极海平台做的成果可以很方便的放在社交平台去传播,如果大家还没有体验过极海的功能的话可以拿手机扫描一下二维码,假设这是你做的成果,用微信打开之后,分享到朋友圈,看有多少人给你点赞。我们等5秒钟。

  有一件事儿印象深刻,我们有一位用户,用全球的机场数据和航线数据做了这样一幅图,他可能自己觉得做的很酷,就分享到他的朋友圈QQ群传播,还把这些数据放到云盘让大家下载。有人不断尝试,后来演变成一次自发的网上的制图比赛了,我截了里面一些图和大家一块分享一下,相同的数据不同的效果,还是很酷炫的,我们理工科审美能力也不差,这事儿对我们触动比较大,我们发现仅仅给用户提供一个分享成果的功能,可能是不够的。大家还需要更深层次的交流和碰撞。这让我们想到一些在地理数据领域非常有影响力的社区,比如说waze,通过社区的司机共享路况改善社区的交通状况。

  再比如说Moovit,是一家以色列的公司,现在和极海产生数据上的合作,他们在做的事情通过众包的方式改善公共交通的出行体验。所以我们觉得极海平台也应该发挥社区的作用。所以我们后来开发出了新的功能,让大家可以把数据分享出来,大家把数据分享出来以后,其他用户都可以去使用这个数据,不光可以使用,还可以把数据下载下来,去其他地方使用。所以现在每天都会有新的成果在极海平台上被共享出来。大家用这种方式去交流,对于地理数据的理解,对于地理数据价值的理解。我们又开发了用户门户的功能,让大家分享出来的成果都有一个统一的出口,就像在博客时代,大家都会有一个自己的博客,在地理大数据时代,我觉得每个人都应该拥有一个自己的地理门户。

  这就是BCL在极海的门户,他们发布了大量的科研成果,今天我们也邀请到了BCL的创始人龙瀛老师,会在后面的时间和大家交流他最新的科研成果,以及对使用极海平台的感受。

  我们进入下一个场景,开发。这个环节做开发的同学一定要好好听一听,因为我们之前演示的所有的功能,通过极海的SDK,加上云端的服务都能开发出来。极海把自身定义为一个平台,不仅提供简单易用的在线工具让大家在线就可以解决问题,也可以支持通过定制开发满足业务的场景,在前边的场景里面我们已经提到过了,像数据服务,像空间分析的模型的服务,还有可视化的服务,我们再看一看在极海还有哪些服务。地理编码,我们前面去介绍数据录入的时候已经提到过对于没有坐标但是有地址信息的数据可以通过地址编码,把坐标,把地址转成坐标,但是中文的地址有一些特点。

  比如说它文字是连续的,需要断词,同一个词可能在一个地址里面有多重含义,比如朝阳这个词可能是朝阳小学,可能是朝阳市,朝阳区,还可能是商场,超市的名字。另外大家书写地址的时候一般不会特别的规范,不同的地区地址的规则有很大的不同。极海利用自身积累的千万级的地址数据库,通过机器学习进行地址学习,以此改善中文地址匹配的精度。我们有一位用户他们用自己手里的客户的数据选址,需要把用户定位,作为原型的原始输入。他们用之前的方式把客户定位的准确度只能达到60%,用了极海的地理编码之后我们把准确度提升到了80%。再看另外一种服务。

  路径分析。极海的路径分析提供了三个功能,一个是路径规划,可以用于物流线路运输的线路优化。还有一个是驾驶可达分析,怎么说呢?给定一个地点,给定一个时间,看我从这个区域在这个时间内能达到什么样的范围。这个可用在什么地方呢?比如说商家要确定我的配送区域,服务区域,为什么有的小区大家有时候网上送东西,他不送到那地方,因为成本太高了。公共交通可达分析,第二个通过驾驶去分析,第三个是通过公共交通,公交、地铁。所以我们可以看到不同的点,他的覆盖范围是不一样的,在靠近地铁的地方覆盖的范围明显要大的多。

  还有地图服务,极海平台提供了十几种不同风格的地图服务,大家可以根据实际情况选择使用哪一种风格。同我们对于用户选择地图的习惯来看,由于对于突出可视化的特殊场景,极海地图服务特别受欢迎;有了这些服务之后,要想把这些服务快速的应用到业务系统里面去,就必须有一个完备的前端的SDK,这就是为什么极海坚持自己去做一个自己的SDK的原因,基于HTML技术,面对互联网和移动互联网,在手机上和网页上都能提供非常好的体验。

  我们看一个例子,这个是由清华同恒技术创新中心,在极海的基础上开发的规划大数据的平台,用于监测城市的运行指标。我们看最后一个场景私有化部署,考虑到一些私有云的使用场景,所以极海在平台的设计上面也有灵活的机制,可以保证在私有环境下灵活部署。

  比如说灵活的伸缩性,在极海平台,建立在云基础设施平台之上,最为基础的是数据的存储和计算架构,刚才有朋友介绍到这一块,我们把数据分散到集群里面的不同结点上面,而且把存储和计算放在一个结点上,这样计算效果会高很多。

  应用和服务也一样,都在集成环节部署,这样可以根据初始的私有云的用户规模,数据规模,确定私有云平台的部署的规模。随着用户的增长,或者数据量的增加,也可以灵活的在不同集群添加不同的结点,以此达到灵活伸缩的效果。

  还有一点,虽然极海平台是一个很复杂的系统,现在已经有几十个功能模块运行在里面。但是各个功能模块彼此之间都是相互独立的,也就是说在私有云部署的环境,是可以按需去部署的,而不是整体打包,这样的话能为用户节省很多的时间和成本。这个例子基于极海的私有云平台,由极海和中国院联合开发的全国新型城镇化监控平台,在这个里面充分利用了地理大数据的可视化和分析来掌握城市化进程的发展状况。

  大家看一下,我们总结一下,前面介绍了极海平台去应用的一些场景,实际上,在极海平台能做很多的事情,大家可以举一反三,自行脑补一下,能不能帮助你解决问题。实际上我今天所介绍的不是具体的功能,而是一种把地理技术的新的产品形态,我们把数据,把模型,把计算能力放到云端,把地理技术非常复杂的,非常专业性的东西放在云端,提供给用户的是一种低成本的,低门槛的,触手可及的地理服务。所以说极海其实是在用一种新的方式为大家提供地理技术服务。而且技术发展到现在这个阶段,大数据、人工智能、云计算,我们相信这能给地理云平台带来更多的能力,比如说更丰富、更权威的数据、更智能的模型,这也是极海目前正在积极去做的事情。

  当然了,说的好不如做的好,极海到底能不能帮助大家解决问题?还需要大家来检验。所以大家扫描右侧的二维码就可以在手机上注册,我们等着大家来检验。谢谢大家。

参与评论

【登录后才能评论哦!点击

  • {{item.username}}

    {{item.content}}

    {{item.created_at}}
    {{item.support}}
    回复{{item.replynum}}
    {{child.username}} 回复 {{child.to_username}}:{{child.content}}

更多精选文章推荐

泰伯APP
感受不一样的阅读体验
立即打开