流批一体化



开篇导语流批一体化(Stream-batch Integration)是一项重要的数据处理技术,在多个领域中具有广泛的应用潜力。尽管现有的流处理和批处理方法能够解决各自领域的问题,但是单独使用它们难以满足全面、实时的数据分析需求,同时还会带来开发、运维成本高昂的问题。流批一体化技术通过将实时数据流和批处理数据相结合,不仅能够实现更加全面、准确和实时的数据分析能力,从而为企业提供更加深入的洞察和决策...

ICDE 2022 | Apache ShardingSphere: 一个功能全面和可插拔的数据分片平台(附论文)



相信大家在网上抢购时遇到过网页无法正常访问的情况,一部分原因可能是数据库无法很好地应对不断增加的并发访问。如何有效地解决数据库现有的这些缺陷呢?数据分片是一个可选的方案。本篇文章将为大家解读由重庆大学和 SphereEx 实验室、京东城市合作的、发表在 CCF A 类数据库顶级会议 ICDE 2022 上的论文《Apache ShardingSphere:A Holistic and Plugga...

JUST亮相研究生“地理大数据与空间数据智能”暑期学校(视频+PPT)



JUST于2021年8月20日 15:30-17:00通过线上直播方式,在2021年研究生“地理大数据与空间智能”暑期学校分享JUST最新架构及落地案例,全程干货满满!以下是直播的全程录屏,欢迎大家收看!关注公众号,回复“JSSummer2021”,下载PPT

JUST技术:分布式一致性协议概念及Raft协议简介



分布式系统通常由异步网络连接的多个节点构成,每个节点的计算和存储相互独立。分布式一致性指多个节点对某一变量的取值达成一致,一旦达成一致,则变量的本次取值被确定。本文将简单介绍一致性的一些基本概念,以及分布式一致性协议Raft。一、基本概念1.1 副本与数据一致性在分布式系统中,为了保证数据的高可用性,通常会维持数据的多个副本(Replica),这些副本往往会放置在不同的物理机器上。然而,在数据有多...

JUST技术:JUST高效时空索引揭秘及使用指南



一、问题背景城市中超过80%的数据都与时空有关,如加油站点、出租车轨迹、交通路况等。这些数据多为半结构化和非结构化数据,并且需要管理的数据量巨大。传统的时空数据库管理海量数据时会出现性能严重下降的情况,如带有PostGIS插件的PostgresSQL。HBase等具有高可扩展性的分布式数据库又不能直接管理时空数据。为此,GeoMesa提供了大量的时空索引工具管理时空数据。但是,它支持的时空类型不够...

JUST技术:基于轨迹数据的人口流向分析技术



一、问题背景随着社会的发展、交通方式的高度便利,人口流动的规模越来越庞大,与此同时,人口迁移、人口流向分析等受到高度关注。人口迁移是一种地理现象,更与社会经济发展紧密相连。人口迁移会同时影响迁入地和迁出地的人口结构,进而影响自然环境,推动或抑制社会经济的发展。另一方面,一个地区的经济发展水平,生活环境等因素会推动人口的迁入或迁出。所以,人口迁移空间分布和时空动态演进的相关研究变得越来越重要。对人口...

JUST技术:基于时空孪生神经网络的轨迹识别



轨迹识别问题旨在验证传入的轨迹是否是由所要求的人员产生, 即给定一组单独的人员历史轨迹(例如行人,出租车司机)以及由特定人员生成的一组新轨迹,判定两组轨迹是否由同一个人员生成。这个问题在许多实际应用中都很重要,例如出租车驾驶人员身份认证、汽车保险公司风险分析以及危险驾驶识别等。轨迹识别的现有工作除了需要轨迹数据之外,还需要其他来源的数据,如传感器、摄像头等,但这些数据无法普遍获得且成本较高。此外,...

JUST技术:ClickHouse实现时序数据管理



以下文章来源于JUST团队-王棚、李瑞远,转载请获得授权本次技术分享为您带来的是,JUST(https://just.urban-computing.cn/)是如何使用ClickHouse实现时序数据管理和挖掘的。ClickHouse是一个高效的开源联机分析列式数据库管理系统,由俄罗斯IT公司Yandex开发的,并于2016年6月宣布开源。一、时序数据简介时序数据全称是时间序列(TimeSerie...

JUST技术:如何通过轨迹相似性度量方法,发现新冠易感人群



2020年初,一场突如其来的新冠疫情,使得公共卫生安全问题受到了全社会的广泛关注。与此同时,如何及时掌握人与人之间的病毒传播路径,及时发现确诊人员的密切接触者,成为了各地政府疫情防控最迫切的需求。JUST基于大规模轨迹数据,针对易感人群难以发现的问题,开发并提供了关联人群查询功能,通过对轨迹进行匹配挖掘,能够快速找出与确诊人员行动轨迹在时空维度有过“接触”的人群。其中,实现该功能的很重要的一项工作...

JUST黑科技:助力园区资源优化部署|UbiComp2020



园区内资源的智能化部署有助于降低部署成本,提高资源使用率。如何部署有限的资源更好地服务人群,是普适计算领域研究的问题之一。普适计算领域顶级会议UbiComp2020(2020年9月12日至17日)近日在线上召开。在刚结束的Location and Human Mobility分会场上,京东城市分享了被会议收录的论文《Dynamic Public Resource Allocation based ...