一种分布式流数据处理方法

• 摘要：

  本发明提供一种分布式流数据处理应用在减载下资源感知的方法.本发明通过对减载情况下的分布式流式数据处理应用的实际负载的建模与分析,预测该应用在不进行减载操作情况下的真实负载.基于真实负载,本发明能够辅助分布式流式数据处理处理系统的资源管理和调度框架对应用所需要的计算、储存等资源做出正确的测量与分配.

• 专利类型：

  发明专利

• 申请/专利号：

  CN201710338078.8

• 申请日期：

  2017.05.15

• 公开/公告号：

  CN107133104A

• 公开/公告日：

  2017-09-05

• 发明人：

  郝志峰 唐凯麟 蔡瑞初 张振杰 傅正佳 温雯 王丽娟 陈炳丰

• 申请人：

  广东工业大学

• 主分类号：

  G06F9/50(2006.01)I,G,G06,G06F,G06F9

• 分类号：

  G06F9/50(2006.01)I,G06F17/50(2006.01)I,G,G06,G06F,G06F9,G06F17,G06F9/50,G06F17/50

• 主权项：

  一种分布式流数据处理方法,其特征在于,包括:步骤一,定义流数据应用处理模型;步骤二,基于减载下的流式数据处理模型确定相关分析参数;步骤三,测量流处理应用相关参数的数值;步骤四,基于测量到的负载参数的数值计算输入输出选择率函数;步骤五,通过所述测量到的参数的数值和所述计算得到的输入输出选择率函数还原应用真实负载;步骤六,基于所述真实负载预测流处理应用所需最小资源.