tataUFO 大数据应用实践
感谢tataUFO各位同仁的大力支持,帮助我顺利完成了在QingCloud Insigt 2016技术大会上的演讲,特将讲稿PPT分享出来,共勉!
一、引子
脱离了产品需求的技术架构都是——“扯”!
tataUFO的用户群体是95后的大学生,95后喜欢简单易用,而且酷炫的轻应用。
轻是外在的表现形式,tataufo产品的内部是如何实现质地的呢?
二、tataUFO的产品特色
每个人都听过“俞伯牙和钟子期”的故事……
这只是TataUFO 上的一个小故事,在这里,爱好铅笔画的小伙伴成群结队,爱好C罗的童鞋畅谈已去的欧洲杯 ……
知己未必是红颜,95后大学生们如何找到知己呢?
三、tataUFO 的大数据应用与实践
tataUFO 作为一种大学生社交应用,完全满足大数据的所谓的7V.
数据的多样性在tataUFO中体验的最为充分,处理数据格式的多样性,更重要的是用户数据维度的多样性,静态数据,动态数据……
总的来说,tataUFO的大数据应用体现在推荐系统上。
10点推荐是由tataUFO 系统生成的推荐, 在每天晚上十点中,通过PUSH,站内信等诸多技术手段告知用户,tataUFO 为你推荐了一个新朋友。
由于10点推荐在晚上10点中生成,而且晚上10点钟也是大学生们的睡前卧谈会时间,所以导致了流量暴增.
微服务的重构导致了服务器之间通信的复杂性,如何实现微服务的发现和配置呢?
陌生人沟通需要一个引子,一个话题, tataUFO如何知道用户有哪些潜在的谈资呢?
有了破冰的主题,接下来是如何将这些话题的闪聊室推荐给相关的用户.
社交是人和人之间的关系,而内容的引入则使社交网络形成了一个多峰的网络,先看一下人与内容形成的双峰模型。
线性模型非常简单,所以非常适合大数据的场景。
每个变量的形成并不是简单的四则运算,需要的是向量计算和矩阵的变换。
举个例子,比如source,来自好友一定比KOL 好吗?两个人都是我的好友,谁更可信呢? 社交的质量来自于沟通的深度而不是频率。 在判定source 的信任程度时,同样需要大数据的支撑。
Azkaban是个简单的批处理调度器,用来构建和运行Hadoop作业或其他脱机过程。
Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark,也就是把Spark Streaming的输入数据按照batch size(如1秒)分成一段一段的数据,每一段数据都转换成Spark中的RDD,然后将Spark Streaming中对DStream的Transformation操作变为针对Spark中对RDD的Transformation操作,将RDD经过操作变成中间结果保存在内存中。
四、tataUFO的技术架构及演进方向
混合云:混合云是用户采用多种云服务来响应业务需求的IT架构。
系统架构可以有多种视图,拓扑架构,逻辑架构,运行架构,数据架构,开发架构等……