近线层,也叫做准实时层,所谓“准实时”,就是接近实时,但不是真的实时。

近线层的特点是:使用实时数据,不保证实时服务,这是一个非常重要的一层,它结合了离线层和在线层的好处,摒弃了两者的不足。

一个典型的近线计算任务是这样的:从事件队列中获取最新的一个或少许几个用户反馈行为,首先将这些用户已经反馈过的物品从离线推荐结果中剔除,进一步,用这几个反馈行为作为样本,以小批量梯度下降的优化方法去更新融合模型的参数。

近线计算任务一个核心的组件就是流计算,因为它要处理的实时数据流。常用的流计算框架有 Storm,Spark Streaming,Flink 等。