十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
本篇文章为大家展示了如何用spark分析网吧同行朋友思路,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。
成都创新互联凭借在网站建设、网站推广领域领先的技术能力和多年的行业经验,为客户提供超值的营销型网站建设服务,我们始终认为:好的营销型网站就是好的业务员。我们已成功为企业单位、个人等客户提供了成都网站设计、成都做网站服务,以良好的商业信誉,完善的服务及深厚的技术力量处于同行领先地位。
在MySQL库中有2.5kw网吧轨迹数据,需要计算同行关系:计算两人在相同网吧十分钟前后上下网三次及以上(如:a和b在19号十分钟前后出现在了A网吧,又在21号十分钟前后出现在了B网吧,再在22号十分钟前后出现在了D网吧)就需要保留他们的身份ID和一起上下网的次数。2.5kw轨迹中有8k+网吧请问有什么思路吗?
如果flink有更好的处理方式也可以。
使用用一个mysql的连接器,但是这东西需要配置一个分区列。
直接用的网吧编号。这样会分8000多分区(而且后面的逻辑也没有用到这个分区列),是不是有问题?今天测试了一下。两个网吧,3w多数据,两个小时没跑完。。(我们是先用连接器抽出数据,按照网吧分组计算单次然后聚合筛选3次及以上的)网吧数据从几条到几万条不等。
分区列的问题解决:
上述内容就是如何用spark分析网吧同行朋友思路,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注创新互联行业资讯频道。