大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。
在最开始,我的第一版实现是这样的:
(资料图)
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁
确实牛逼。
我基于上面的思路微改了下入口,代码最终演变成这样:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)
去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):
通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:
1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉
2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉
从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)
而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:
而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。
LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。
2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。
3、redis使用lua脚本来保证原子性和减少网络io的损耗
4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)
5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳
针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?
A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。
为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。
为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。
推荐项目最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。
毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。
如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。
仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin
我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟
VIP服务
标签:
上一篇 : 弹弹堂爱玩礼包(爱玩弹弹堂搜服网) 资讯
下一篇 : 最后一页
最新推荐
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。aust
大家好,小乐来为大家解答以上的问题。弹弹堂爱玩礼包,爱玩弹弹堂搜服网这个很多人还不知道,现在让我们一起
你们好,最近小活发现有诸多的小伙伴们对于独龙玉手镯图片,玉手镯图片这个问题都颇为感兴趣的,今天小活为
C1驾照能骑摩托车吗?c1驾驶证能骑摩托车吗?不可以。根据《准驾车型及代号》的相关规定,代号C1,准驾车型
买器械配件却不付货款,法院判中铁九局集团第七工程有限公司支付17万余元
石家庄市东南实验小学学习举行了“阅读·悦爱·越成长”第三届读书月活动,孩子、父母、老师,21天同读...
根据规划,居住用地全部为二类居住用地,用地面积22 77公顷,占总建设用地比例的13%。
500)this width=500 "align= "center "hspace= "10 "vspace= "10 "rel= "nofollow ">易车讯 近日
4月21日,徐汇滨江共建共治联盟公益跑活动在滨江边活力开跑。来自联盟各单位的逾200名跑友,以新时代上海滨
其中指出,我国车用燃料电池产业发展还需要加大研发投入、完善基础设施配套建设以及加快燃料电池汽车产业相
市场调研机构Omdia近日发表其对OLED显示行业的预测,Omdia预测在苹果的推动下,OLED显示器将在2023年出货
前不久,到高校采访,正赶上一场春季双选会。各用人单位展位前,多名学生身着正装、手握简历,从容地问询、
目前2023年养老金具体的调整方案还没有公布,当然我认为已经很快就会公布了,毕竟往年的时间大概也就是在4
比亚迪全新皮卡现身:前脸超硬核
建研设计(301167)04月23日在投资者关系平台上答复了投资者关心的问题。投资者:请问贵公司做设计,有自己的
奔驰E300L有ECO、标准、运动、舒适和自定义五种驾驶模式。推动位于中控的“DYNAMIC”按键即可切换驾驶模式
1、30升左右的比较合适,基本就和微波炉差不多大。2、太小的烤箱烤盘尺寸有限,一次只能烤很少一点东西,而
员工回应公司要求卖宝马否则开除:公司没人开宝马,或是炒作,4月21日,江苏苏州。网传某公司发布一则通知,
周日(4月23日)现货黄金周五(4月21日)亚市盘初开盘触及日内高位2005 50美元 盎司位置后展开下行;欧市盘中
暖春时节,走进江西省赣州市崇义县龙山首府小区的新时代文明实践站“知行家”,老人三五成群围坐在一起...
为了提高车辆年检效率,实现车主就近检测、快速检测的目的,同时健全打击非法中介和鼓励合法代办机制,规范
Python中的asyncio模块提供了一些有用的debug工具,可以帮助我们更好地理解异步IO程序的运行状态,并找到程
解答:1、MLM是指组织者或经营者的开发人员,根据其直接或间接开发人员的数量或销售业绩计算并支付给被开发
钟祥市气象台发布雷电黄色预警【III级 较重】
1、名称:九幽玄曲txt下载小说分类:异界小说小说作者:墨隐离殇小说进度:TXT版权来源:小说大小:805KB小
你们好,最近小未来发现有诸多的小伙伴们对于电视电话会议怎么连接,电视电话会议怎么开这个问题都颇为感兴
用Ai重构您的HR共享服务中心?2018年乾通互连首批结合的模块是三个:AI人事助手,能更好支撑新政策下的HR管
1、高考共有6门课2、文科:语文、数学、英语、文综(包括政治、地理、历史)3、理科:语文、数学、英语、理
新华社青岛4月22日电题:强军十载挺进深蓝——写给在强军目标指引下奋进的人民海军新华社记者4月的青岛...
1、欧珮思柔和舒缓精华液是由德迈克生物科技有限公司生产的一款化妆品。2、于2020年10月9日备案。
1、首先将指甲的形状修建为自己喜欢的(如方甲、圆甲等等)其次用棉签蘸取洗甲水,将指甲和甲缝全部擦洗干
1、龋齿的原因包括:1 牙齿结构形态:乳牙硬度低,耐酸性弱;2 口腔环境:食物在口腔停留时间长,腐蚀牙齿
1、修玛23级,攻速我不记得了 为什么都想抓它?不只因为拉风,修玛的伤害还是挺高的 怎么获得特殊技能呢?你先
所有图片均转载于网络,如有侵权请联系我,我会立即删除1 2 3 4 5 6 7 8 9 10
1、孔纬。2、江苏泰州姜堰区兴泰镇镇长。文章到此就分享结束,希望对大家有所帮助。
天文科普专家介绍,4月23日傍晚时分,西北方天空将上演一幕极具浪漫色彩的“星月童话”——明亮的金星与...
近日,经典舞剧《只此青绿》即将登陆泰州大剧院。4月21日,泰州大剧院联合泰州广播电视台官方微信公众号泰
刘海明(重庆大学教授、博士生导师)中国传统文化语境中,“门神”有辟邪之寓意。现实生活中,道德原则...
美国经济的问题,既不是银行缩表,也不是商业地产爆雷,而是创投泡沫破灭。
1、税编辑 (三)应交营业税 企业应在“应交税费”科目下设置“应交营业税”明细科目,核算应交营业...
造船设计师的晚8点:从0到6艘“中国造”加速造
周五市场呈现低开低走的格局,投资者可以看到,早盘沪指低开3点于3364点,创业板高开6点于2393点,市场开盘
搜狐体育消息,北京时间4月21日,中超联赛第二轮再战5场比赛,津门虎2-1战胜浙江队,申花1-0战胜梅州客家,
欢迎观看本篇文章,小柴来为大家解答以上问题。故宫太和殿介绍,关于故宫太和殿简介很多人还不知道,现在让
新华社圣保罗4月21日电(记者陈昊佺王林园)亚松森消息:第二届中国-巴拉圭关系研讨会近日在线上举行,与会巴
1、减肥喝纯牛奶一般不会引起发胖。2、纯牛奶中有大量的蛋白质、钙、维生素、乳糖、氨基酸等成分,可以给身
2024年5月完工,宿迁学院新校区最新进展
1、首先,要善于引导学生掌握基本的鉴赏方法。2、正所谓授人以鱼,不如授之以渔。3、语文教学中,可以主要
乌兰察布市市场监督管理局关于面向社会征集发布“神医”“神药”虚假违法广告案件线索的通告
1、税基即“课税基础”,具体有两种含义:如果税率不变,税基宽窄直接影响纳税人负担水平,国家可以通过...
中国广电入局5G网络 初步形成“有线+5G”的融合发展新格局
成都抗疫的外籍志愿者:愿为城市“康复”贡献力量
湖南省胸科医院召开DRG成本测算及临床路径管理工作会议-世界今头条
北约秘书长发号施令,呼吁中方自废武功削减核武,我方已有言在先
中国工程院煤炭绿色低碳发展工程科技论坛暨第六届煤炭科技创新高峰论坛在京举办-快资讯
打造医警网融合新模式 苏州高新区东渚街道彭山社区打造幸福“彭”友圈
全球播报:2023年男篮世界杯分档公布:中国男篮成为第六档球队
因债务纠纷,台中一女子KTV中被人用整锅热汤泼脸,警方逮捕3人 当前头条
当前视讯!环渤海沿海地区重点产业发展战略环境评价研究_关于环渤海沿海地区重点产业发展战略环境评价研究介绍
法国要以600亿美元出售南极附近一个大岛?官方回应|环球精选
天天速读:五一云南旅游预订暴涨400%!泼水节带动旅游热,游客:泼起水来都看不到人
Python面向对象编程-魔术方法-__iter__和__next__方法(一)|世界微资讯
远在天边近在眼前的意思是什么_远在天边近在眼前的意思-当前观察
世界快消息!国家医保局:严厉打击欺诈骗保 深化药品和医用耗材集中带量采购改革
荣耀x50i发布,价格1499元,所以可以选荣耀x40了?_天天精选
凯美特气(002549):4月21日北向资金减持52.44万股-环球要闻
4月21日基金净值:天弘中证500ETF联接A最新净值1.1713,跌2.39%_全球快讯
Copyright © 2015-2022 华东律师网版权所有 备案号:京ICP备2022016840号-41 联系邮箱:2 913 236 @qq.com