在联合稀疏字典的语音增强中,由于联合字典的相似性,导致稀疏重构阶段产生语音和噪声混淆进而产生语音失真问题。针对此,在训练阶段提出一个费希尔准则下的目标函数。该函数包含了语音和噪声的区分约束项,并用与信号变化相关的平衡因子去调整各项权值,为尽可能减小混淆误差提供了保障;同时,为了能使目标函数收敛,设计了一种交替优化字典和稀疏系数的算法,迭代寻找所需的字典和稀疏系数,完成语音字典和噪声字典的输出,得到具有非相似即区分性能较好的联合字典。在增强阶段,将带噪语音信号在联合字典上进行稀疏表示,并估计出语音幅度谱和噪声幅度谱。最后,结合维纳滤波器和理想二值掩模的优点,提出了新的软掩模滤波器,进一步消除了残余噪声。通过对不同信噪比的带噪语音进行实验,新算法得到的语音信噪比和听觉感知评价都较高,验证了新算法在提高语音性能方面的有效性。