[置顶]京东城市时空数据引擎JUST亮相中国数据库技术大会(附PPT链接)



受疫情影响,第十一届中国数据库技术大会(DTCC2020)从原定的5月份,推迟到了8月份,再推迟到了12月份。尽管如此,依然没有减退国人对数据库技术的热情。2020年12月21日-12月23日,北京国际会议中心人头攒动,各大厂商争奇斗艳。在NoSQL技术专场,京东智能城市研究院的李瑞远博士给大家带来了《京东城市时空数据引擎JUST的架构设计与应用实践》的主题报告,受到了大家的广泛关注。以下为李瑞远...

​HBsae与时空索引技术杂谈



一、背景近年来智能城市建设在云计算和大数据技术的推动下,取得了飞跃式的发展,产生了海量可记录的数据,如文本、视频、传感器读数等。每年移动互联网接入流量消费超过711亿GB,其中,80%的数据都与时空相关。北京出租车三个月内产生了远超790万条轨迹数据,NASA卫星数据档案库已经超过500TB。迅速产生的时空数据,背后蕴藏着巨大的对智能城市发展有用的信息。如,根据交通轨迹来优化交通信号灯的时间、实时...

WhereCOVID-19: 全球疫情数据时空可视分析



作者:王少华WhereCOVID-19是面向多尺度时空数据的可视化并预测COVID-19分布特征,同时提供在线空间决策支持系统,可用于识别有风险的人群以指导有针对性的医疗保健干预措施。该平台是UIUC CyberGIS Center与流行病学研究人员以及公共卫生部门合作开发的开放式软件平台,目的在于提供一站式地理空间数据和分析系统,以支持前沿研究和及时决策。WhereCOVID-19 项目是美国伊...

Spark任务中空间数据的序列化



一、引言Spark是目前主流的分布式计算框架,通过利用内存存储中间计算结果的方式,优化了MapReduce框架并不擅长的迭代式计算。同时,Spark使用有向无环图(Directed Acyclic Graph,DAG)统筹和优化整个计算流程。另外,Spark基于弹性分布式数据集RDD(Resilient Distributed Datasets)提供了丰富的数据分析算子,大大简化了分布式计算应用的...

ICDE 2021: 针对具有噪音和低采样率轨迹的时空相似算法(附论文链接)



随着定位技术的发展以及IOT设备的普及,大量的轨迹数据可以被采集分析。轨迹数据一般被表示成位置与其采集时间的序列。了解轨迹之间的相似度,有非常多的应用,例如:密切接触者追踪,伴侣检测,个性化推荐等。然而,实际应用中,轨迹中的位置信息往往是有噪声的;同时,不同轨迹的采样率有所不同,在某些场景中,轨迹的采样率甚至可能很低。这都为轨迹相似度的比较带来很大的挑战。本文将介绍香港科技大学、台湾交通大学、台湾...

JUST技术:轨迹生成算法的基础做法-序列到序列模型



位置数据,是选址、商铺推荐、广告位投放等业务的重要基础。是否可以在保护原始数据不被泄露的情况下,达到相近的业务效果?一种解决思路就是通过真实轨迹学习城市人群的出行分布来生成轨迹。生成轨迹可以代替包含用户隐私信息的真实轨迹,来达到相近数据分析、上层业务建设的效果,且避免原始位置信息外泄。更多关于轨迹生成算法在智慧城市中的应用场景,在笔者往期文章中有讨论。JUST技术:利用迁移学习生成新城市的轨迹JU...

JUST技术:分布式一致性协议概念及Raft协议简介



分布式系统通常由异步网络连接的多个节点构成,每个节点的计算和存储相互独立。分布式一致性指多个节点对某一变量的取值达成一致,一旦达成一致,则变量的本次取值被确定。本文将简单介绍一致性的一些基本概念,以及分布式一致性协议Raft。一、基本概念1.1 副本与数据一致性在分布式系统中,为了保证数据的高可用性,通常会维持数据的多个副本(Replica),这些副本往往会放置在不同的物理机器上。然而,在数据有多...

JUST技术:基于注意力机制恢复细粒度轨迹



随着基于位置服务的大量增长,越来越多的移动数据可以被分析挖掘,以更好地服务人们的生活。然而,与来自出租车等运输系统类的高采样率轨迹数据相比,用户地理服务数据具有严重稀疏性问题,是因为用户不会一直访问移动数据并贡献自己的位置信息(例如微博地址分享,大众点评签到等数据),而数据稀疏性问题不可避免的削弱了其实用价值。如何解决用户移动数据稀疏性,是一个非常具有挑战的问题。本文将介绍清华大学发表在AAAI ...

JUST技术:探查城市中的异常事件



城市在正常运行的过程中,也伴随着一些异常事件的发生,例如某一路段突发的交通拥堵,这些异常事件往往会对我们带来负面影响。2014年12月31日,30多万人涌入上海外滩观看除夕灯光秀,人群的数量远远超出了组织者的预期。过度拥挤导致了一场悲惨的踩踏事件(图1),最终造成36人死亡,49人受伤。图1 2014年外滩踩踏事件对城市中异常事件的及时感知甚至提前预测,能够帮助政府或是相关机构及时应对突发异常,将...

JUST技术:面向时空数据场景的SQL优化器



一、背景介绍随着智能城市建设的不断升温,海量的时空数据也基于现代的智能设备和卫星定位系统不断产生。在这个过程当中,因为传统的技术无法解决海量时空数据的管理问题,所以出现了很多新技术和新方法,Geomesa就是针对时空场景的开源数据引擎的优秀代表。Geomesa在时空数据方面,一方面完全兼容了OGC规范,可以对时空数据进行非常方便的操作,另一方面它能够基于分布式大数据组件来对时空数据进行存储和查询,...