分布式系统日志是由分布式系统中的各个组件或节点生成的,记录系统运行状态和事件的时序数据记录,具有多样性、大数据量、可读性差和脆弱性等特点。监督日志异常检测方法在日志标签不足时需要专家人工标注,成本高昂;而无监督方法则难以构建有效的异常检测模型。鉴于此,提出一种半监督学习的日志异常检测模型。首先,将日志数据转化为日志事件模板序列,并采用词嵌入酉不变性和矩阵微扰理论以确定其最佳词向量维度,进而构造日志时间序列训练集;其次,研究和分析了多个深度学习组合模型,包括基于注意力机制的时间卷积神经网络(TCN-Attention,TCNA)、双向长短期记忆网络(Bi-directional LSTM,Bi-LSTM)等网络结构,实验结果显示在数据不平衡度达96.98%的情况下,各个模型的监督学习效果皆很好,其中以模型TCNA的性能最佳。最后,将MixMatch和FixMatch半监督学习算法引入TCNA模型,构建半监督日志异常检测模型SSLogTCNA,并依据日志序列特性,优化了损失函数和数据增强方式。实验结果显示,仅采用极少量的标记数据能实现了数十万的大量无标签数据的正确预测。通过对比实验表明,基于MixMatch的SSLogTCNA模型性能最佳。为了进一步验证模型SSLogTCNA的有效性,设计了增量实验,实验表明当标记数据占比仅为0.1%时,就已接近正常监督训练的检测效果。提出的方法为解决日志数据标签不足、标注成本高等问题提供了新的解决思路。
