京东到家定位系统演化_京东到家用的地图坐标系统-程序员宅基地

文章概要

引言

依托达达的高效配送和大量优秀零售合作伙伴,京东到家为消费者提供生鲜蔬果、日用百货、医药健康、鲜花蛋糕、个护美妆等海量商品 1 小时配送到家的极致服务体验,在整个服务过程中,京东到家基于LBS将消费者和线下商家联系到一起,进而促成交易为消费者提供便利,在这背后定位系统是如何为京东到家提供基础的定位能力呢?本文从技术角度介绍了京东到家定位系统的演进过程以及遇到的问题。

定位系统是做什么的?

业务简介

打开京东到家app,进入首页然后下拉,我们可以看到附近的店铺模块,如下图所示,

这个“附近”模块是典型的定位系统的应用,图中蓝色方框区域内容为当前坐标的POI名称,红色方框区域内容为当前坐标附近的门店信息,红色椭圆区域内容为当前坐标与门店之间的距离。

简单介绍下实现流程

  • 第一步,打开app,手机可以通过内置的GPS模块获取当前位置的经纬度

  • 第二步,首页网关拿到当前位置的经纬度去请求地址系统,由地址系统访问相应的GIS服务得到POI信息并返回

  • 第三步,首页网关根据POI信息去请求定位系统,定位系统返回附近的门店列表以及距离信息

  • 第四步,首页网关补全门店的其他信息,比如评分、销量、运费等等信息,然后返回给app端展示

大体流程如下图所示:

除了这个典型的应用外,到家的很多系统都依赖定位系统,比如多门店的搜索、运费的计算、提单时的超区校验、订单时效的计算……统计下来有50+的系统,这些系统几乎涵盖了用户的整个购物过程,仔细想想也是情理之中,到家的许多业务都是基于位置展开的,这也正是o2o电商和传统电商的一个重要区别。

核心职责

从众多的业务场景归纳下来,定位系统有两个核心职责,如下图所示

距离计算

计算两个坐标点的距离,多数为门店坐标与用户坐标之间的距离

定位门店

得到用户坐标附近的门店信息,门店的配送范围多种多样,用户看到的为配送范围覆盖用户坐标的门店

架构演进过程

依据职责不同定位系统划分为距离服务和定位服务,下面分开介绍这两个服务的演进过程

距离服务

直线距离

这是所说的直线距离,实际为球面距离,我们认为地球是一个规则的球体,球面上的两个点,可以通过一系列的几何公式推导得出一个距离公式,将两个点的经纬度代入公式即可算出球面距离,这里就不展开了可自行搜索相关资料。那么我们为什么要升级,直线距离存在怎样的问题呢?如下图所示

图中,起点到终点之间直线距离为390米,由于两点之间隔着河和桥,实际的步行距离达到了1766米,实际的步行距离为直线距离的四倍之多,类似这种情况下展示给用户直线距离,存在一定的不合理,影响用户的体验;另一方面,由于达达侧计算运费使用的是步行距离,到家侧使用直线距离,两边测算的距离不一致,无形中也给到家平台带来一定的损失,基于以上的原因,距离服务升级为使用步行距离。

步行距离

计算两点之间的步行距离,由于涉及到道路的规划、距离的测算等等元素,自己实现不现实,我们采用的是使用GIS服务计算步行距离,但距离服务作为到家的一个基础的服务,同步请求GIS服务显然不能满足我们对性能的要求,因此也催生了我们现在的方案,如下图所示

大体上分为两个阶段

  • 阶段一,初始化阶段,初始化服务拉取近半年的订单信息,使用订单中的门店地址经纬度和用户收货地址经纬度结合GIS服务,计算出步行距离并初始化到距离信息库。

  • 阶段二,自更新阶段,对于已下过订单的老用户请求步行距离时,可命中返回距离信息库的步行距离;而对于新用户,在距离信息库中不能命中,此时我们采用的是估算步行距离,使用直线距离乘以经验参数作为估算步行距离返回给用户,新用户继续下单,距离服务实时的监听订单系统的订单消息,进一步的丰富距离信息库,此用户再次请求距离时,距离服务即可命中库中的步行距离;随着用户的不断下单,距离服务实时订阅订单消息,实现了自动更新、自我丰富。

定位服务

定位服务的演进基本分为三个阶段,如下图所示

朴素匹配

到家发展初期,只有少数几个门店,一一列举出这些门店,判断配送范围是否覆盖用户坐标,从而匹配出覆盖门店,但随着门店的增加,此方案不再适用进入到下一阶段。

最小覆盖矩形

计算门店的配送范围的最小覆盖矩形,将所有门店的最小覆盖矩形坐标持久化到数据库中,通过sql语句方式筛选出覆盖用户坐标的门店,此方案支撑了到家一段时间的业务发展,随着用户量的增加,到家访问量也不断增长,通过数据库查询的方式逐渐不能满足我们对性能的要求,进而开始继续演化。

基于墨卡托投影倒排

墨卡托投影

墨卡托投影是正轴等角圆柱投影,假设一个与地轴方向一致的圆柱切或割于地球,按等角条件,将经纬网投影到圆柱面上,将圆柱面展为平面后,即得本投影。经过墨卡托投影后的经线是均匀分布的,纬线是垂直于经线的一组平行直线,也就是说经过投影以后我们把球面转化成了平面。

墨卡托坐标

由上述公式经度λ、纬度θ对应的墨卡托坐标就是(x*R, y*R),其中R为地球半径。通过墨卡托投影,将坐标系转换为平面坐标系,由此,可以依照某种规则将我国所覆盖的区域分成若干大小相同的正方形区域进行标记编号,这些方格就是我们构建倒排索引的基础。

倒排索引

假设现在有三个门店s1、s2、s3,三个门店有不同形状的配送范围,每个方格都有自己的编号,如上图所示。

正排索引

构建出每个门店覆盖的方格列表,即正排索引

  • s1: B2,C2,D2,B3,C3,D3,B4,C4,D4

  • s2: C1,D1,C2,D2

  • s3: C0,D0,E0,C1,D1,E1,D2

倒排索引

依赖正排索引,构建出方格对应的覆盖门店的列表,即倒排索引

  • C0: s3

  • C1: s2, s3

  • D2: s1, s2, s3

  • ……

构建倒排

门店配送范围的倒排索引构建过程如下:

定位过程

依赖于倒排索引,定位门店的流程如下:

定位服务架构

采用倒排索引方案实现定位服务,极大的提升了定位服务的性能,系统不再是业务发展的瓶颈,架构图如下所示:

  • 服务节点:对外提供定位服务,本地内存存储全量倒排、门店基本信息,门店覆盖范围变更,节点需要重新构建对应的倒排信息,并且同步门店的基本信息。

  • 后台web:处理门店门店变更消息,构建对应正排索引,产生门店变更任务供服务节点使用。

问题以及优化

架构趋于稳定,但随着业务的发展,还是出现了一些新的问题,针对这些问题,我们也做了进一步的优化

新的问题

  • 定位精准度不足,如下图所示,虽然门店的配送范围覆盖了方格,但是红色标记区域实际不在门店的配送范围内,实际的运营过程中出现了不少类似的问题,给商家和用户造成了困扰。

  • 瞬时流量影响服务稳定性,平台存在一些配送范围特别大的门店,比如鲜花门店的配送范围是覆盖整个城市,由于倒排索引的构建在每个服务节点都会进行,一旦这种门店上下线,服务节点性能会产生较大的波动,造成调用方超时。

  • JVM内存暴涨,由于倒排索引存储于服务节点的JVM内存,门店不断增加,jvm使用内存越来越大,达到了22G+,大内存下GC时间也随着服务器的运行不断增加,yongGC时间过长,影响了服务的响应时间,一旦发生oldGC服务将处于不可用的状态,这个问题相当严重。

优化策略

  • 定位精准化,在定位过程中加入实时计算是否覆盖模块,过滤掉不覆盖用户坐标的门店。

  • 索引后置、流量削峰

  • 优化架构

服务架构也做了一些调整,新的架构如图所示

优化效果

经过这次优化以后,问题得到了很好的解决,数据对比如下图所示,值得一提的是,服务的平均性能由原来的2ms增加到了4ms,虽然响应时间有所增加,但增加的幅度完全在业务的可接受范围内,带来的好处却是相当明显的。

  • 不再需要大内存机器支撑服务,节约了资源

  • 不再需要定期手动GC,减少了人工运维的成本

  • 服务性能更加平稳,响应时间不再会出现较大波动

总结

定位系统作为京东到家的基础服务,为到家提供了核心的定位以及距离服务,随着到家平台的不断发展,定位系统也随着不断的演进优化,每一次演进优化都朝着提供稳定高可用服务的目标走出坚实的一步,为到家业务的飞速发展提供强有力的保障。

原文链接

https://mp.weixin.qq.com/s/gcHbxXtluHwNMDbaLLJbgw

服务推荐

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/gt9000/article/details/86227595

智能推荐

FTP命令字和返回码_ftp 登录返回230-程序员宅基地

文章浏览阅读3.5k次,点赞2次,收藏13次。为了从FTP服务器下载文件,需要要实现一个简单的FTP客户端。FTP(文件传输协议) 是 TCP/IP 协议组中的应用层协议。FTP协议使用字符串格式命令字,每条命令都是一行字符串,以“\r\n”结尾。客户端发送格式是:命令+空格+参数+"\r\n"的格式服务器返回格式是以:状态码+空格+提示字符串+"\r\n"的格式,代码只要解析状态码就可以了。读写文件需要登陆服务器,特殊用..._ftp 登录返回230

centos7安装rabbitmq3.6.5_centos7 安装rabbitmq3.6.5-程序员宅基地

文章浏览阅读648次。前提:systemctl stop firewalld 关闭防火墙关闭selinux查看getenforce临时关闭setenforce 0永久关闭sed-i'/SELINUX/s/enforcing/disabled/'/etc/selinux/configselinux的三种模式enforcing:强制模式,SELinux 运作中,且已经正确的开始限制..._centos7 安装rabbitmq3.6.5

idea导入android工程,idea怎样导入Android studio 项目?-程序员宅基地

文章浏览阅读5.8k次。满意答案s55f2avsx2017.09.05采纳率:46%等级:12已帮助:5646人新版Android Studio/IntelliJ IDEA可以直接导入eclipse项目,不再推荐使用eclipse导出gradle的方式2启动Android Studio/IntelliJ IDEA,选择 import project3选择eclipse 项目4选择 create project f..._android studio 项目导入idea 看不懂安卓项目

浅谈AI大模型技术:概念、发展和应用_ai大模型应用开发-程序员宅基地

文章浏览阅读860次,点赞2次,收藏6次。AI大模型技术已经在自然语言处理、计算机视觉、多模态交互等领域取得了显著的进展和成果,同时也引发了一系列新的挑战和问题,如数据质量、计算效率、知识可解释性、安全可靠性等。城市运维涉及到多个方面,如交通管理、环境监测、公共安全、社会治理等,它们需要处理和分析大量的多模态数据,如图像、视频、语音、文本等,并根据不同的场景和需求,提供合适的决策和响应。知识搜索有多种形式,如语义搜索、对话搜索、图像搜索、视频搜索等,它们可以根据用户的输入和意图,从海量的数据源中检索出最相关的信息,并以友好的方式呈现给用户。_ai大模型应用开发

非常详细的阻抗测试基础知识_阻抗实部和虚部-程序员宅基地

文章浏览阅读8.2k次,点赞12次,收藏121次。为什么要测量阻抗呢?阻抗能代表什么?阻抗测量的注意事项... ...很多人可能会带着一系列的问题来阅读本文。不管是数字电路工程师还是射频工程师,都在关注各类器件的阻抗,本文非常值得一读。全文13000多字,认真读完大概需要2小时。一、阻抗测试基本概念阻抗定义:阻抗是元器件或电路对周期的交流信号的总的反作用。AC 交流测试信号 (幅度和频率)。包括实部和虚部。​图1 阻抗的定义阻抗是评测电路、元件以及制作元件材料的重要参数。那么什么是阻抗呢?让我们先来看一下阻抗的定义。首先阻抗是一个矢量。通常,阻抗是_阻抗实部和虚部

小学生python游戏编程arcade----基本知识1_arcade语言 like-程序员宅基地

文章浏览阅读955次。前面章节分享试用了pyzero,pygame但随着想增加更丰富的游戏内容,好多还要进行自己编写类,从今天开始解绍一个新的python游戏库arcade模块。通过此次的《连连看》游戏实现,让我对swing的相关知识有了进一步的了解,对java这门语言也有了比以前更深刻的认识。java的一些基本语法,比如数据类型、运算符、程序流程控制和数组等,理解更加透彻。java最核心的核心就是面向对象思想,对于这一个概念,终于悟到了一些。_arcade语言 like

随便推点

【增强版短视频去水印源码】去水印微信小程序+去水印软件源码_去水印机要增强版-程序员宅基地

文章浏览阅读1.1k次。源码简介与安装说明:2021增强版短视频去水印源码 去水印微信小程序源码网站 去水印软件源码安装环境(需要材料):备案域名–服务器安装宝塔-安装 Nginx 或者 Apachephp5.6 以上-安装 sg11 插件小程序已自带解析接口,支持全网主流短视频平台,搭建好了就能用注:接口是公益的,那么多人用解析慢是肯定的,前段和后端源码已经打包,上传服务器之后在配置文件修改数据库密码。然后输入自己的域名,进入后台,创建小程序,输入自己的小程序配置即可安装说明:上传源码,修改data/_去水印机要增强版

verilog进阶语法-触发器原语_fdre #(.init(1'b0) // initial value of register (1-程序员宅基地

文章浏览阅读557次。1. 触发器是FPGA存储数据的基本单元2. 触发器作为时序逻辑的基本元件,官方提供了丰富的配置方式,以适应各种可能的应用场景。_fdre #(.init(1'b0) // initial value of register (1'b0 or 1'b1) ) fdce_osc (

嵌入式面试/笔试C相关总结_嵌入式面试笔试c语言知识点-程序员宅基地

文章浏览阅读560次。本该是不同编译器结果不同,但是尝试了g++ msvc都是先计算c,再计算b,最后得到a+b+c是经过赋值以后的b和c参与计算而不是6。由上表可知,将q复制到p数组可以表示为:*p++=*q++,*优先级高,先取到对应q数组的值,然后两个++都是在后面,该行运算完后执行++。在电脑端编译完后会分为text data bss三种,其中text为可执行程序,data为初始化过的ro+rw变量,bss为未初始化或初始化为0变量。_嵌入式面试笔试c语言知识点

57 Things I've Learned Founding 3 Tech Companies_mature-程序员宅基地

文章浏览阅读2.3k次。57 Things I've Learned Founding 3 Tech CompaniesJason Goldberg, Betashop | Oct. 29, 2010, 1:29 PMI’ve been founding andhelping run techn_mature

一个脚本搞定文件合并去重,大数据处理,可以合并几个G以上的文件_python 超大文本合并-程序员宅基地

文章浏览阅读1.9k次。问题:先讲下需求,有若干个文本文件(txt或者csv文件等),每行代表一条数据,现在希望能合并成 1 个文本文件,且需要去除重复行。分析:一向奉行简单原则,如无必要,绝不复杂。如果数据量不大,那么如下两条命令就可以搞定合并:cat a.txt >> new.txtcat b.txt >> new.txt……去重:cat new...._python 超大文本合并

支付宝小程序iOS端过渡页DFLoadingPageRootController分析_类似支付宝页面过度加载页-程序员宅基地

文章浏览阅读489次。这个过渡页是第一次打开小程序展示的,点击某个小程序前把手机的开发者->network link conditioner->enable & very bad network 就会在停在此页。比如《支付宝运动》这个小程序先看这个类的.h可以看到它继承于DTViewController点击左上角返回的方法- (void)back;#import "DTViewController.h"#import "APBaseLoadingV..._类似支付宝页面过度加载页

推荐文章

热门文章

相关标签