Skip to content

20210225整理下river node的旧笔记

zqy edited this page Feb 25, 2021 · 1 revision

如何才算是一次完整的数据流“分流”事件呢?


首先数据分流是数据处理的一种形式,或者说是分型
数据处理只有两种形式,分流与截流 crc包的PassNews与NotPassNews就是很好的例子

从某个数据管道拿到事件后(for range拿到某一个切片)
可能会做的一些事,包括但不限于:

  1. 原始数据流截断(直接让数据消失,等同于 _ =xxx的效果(而“数据分流”是“数据处理”的一种分型)
  2. 原始数据流转化为一个新数据流(新流只有一个也算分流)
  3. 原始数据流转化为多个新数据流(转化的方式可以基于原数据流数据,也可以是直接引入新的流)
  4. 数据合流(聚合,无论是借助缓存实现的还是不借助缓存实现的)

其他的数据截流处理方式:如fmt.Println()输出,或最后一次不需创建新管道的数据转换+录入数据库,等

Clone this wiki locally