Indexed by:
Abstract:
对网络流量中包含的用户与应用行为进行分析是发现网络问题、提供商业建议、挖掘用户行为等重要场景的基础,这种细粒度的分析方法被称为网络流量语义分析。传统的深度包检测、深度流检测方法与离线数据挖掘方法在处理粒度、速度、准确性上都存在严重的缺陷,难以应对多应用、大规模、异构化网络环境下的流量语义分析需求。本文针对网络流量语义实时检测中细粒度、高速度、可扩展的要求,对相关模型、算法进行了研究,提出了网络流量语义的实时检测方法,取得了如下成果:
1) 提出了网络流量深度语义检测模型。该模型使用关键信息提取(内核态)与分析应用构建(用户态)两层架构来实现网络流量语义的实时检测。其中内核态实时的将异构的原始流量转化提取为结构化的用户行为,作为用户态数据分析的依据。由于用户行为信息已经远小于原始流量大小,因此用户态也可以实现实时的语义分析。该模型既提供了对网络流量的实时处理能力,又向不同应用场景提供了统一的分析基础,确保了分析的灵活性。
2) 提出了多协议解析结构构建方法。该构建方法基于一个可区分的协议规范,建立一个可区分的协议解析自动机,从而实现协议识别与解析过程的统一,即“边识别,边解析”,最终得到正确的协议识别与字段提取结果。实验表明,当同时解析38个定义在应用层头部及负载的协议规范时,在8核计算机上,上述解析方法可以达到单线程4.2Gbps、多线程24.7Gbps的解析速度,相比其他协议解析方法提升25%。
3) 提出了大规模细粒度规则集的优化组织与匹配算法。该算法按照不同匹配域进行层次构造的方法可以避免匹配过程中的结果缓存与计算,从而提供较高的匹配速度。本文还分析了不同域构造顺序对于层次匹配结构的空间影响,并证明获得最优化构造顺序问题是一个NP难问题,进一步提出了一个启发式算法计算近似优化的构造顺序;针对多个协议数据单元联合匹配的场景推广了层次匹配结构。实验表明,当采用869条细粒度规则组成的规则集时,在8核计算机上,上述匹配方法可以实现单线程4.8Gbps、多线程40Gbps的匹配速度,相比其他规则匹配方法提升50%。
另外,本文还实现了一个完整的网络流量深度语义检测系统。该系统使用前述的多协议语义解析器与细粒度规则高速匹配引擎实现了内核态,并在此基础上构建了包括业务诊断、运营数据分析、应用关联分析等多个用户态分析案例,从而说明本文提出的网络流量深度语义检测模型与方法的实用性。
Keyword:
Reprint Author's Address:
Email:
Basic Info :
Degree: 工学博士
Mentor: 胡成臣
Student No.:
Year: 2016
Language: Chinese
Cited Count:
WoS CC Cited Count: 0
SCOPUS Cited Count:
ESI Highly Cited Papers on the List: 0 Unfold All
WanFang Cited Count:
Chinese Cited Count:
30 Days PV: 0
Affiliated Colleges: