基于融合先验方法的贝叶斯网络结构学习

时间:2018-07-12 编辑整理:高晓光 叶思懋 邸若海 寇振超 来源:早发表网

摘要:从数据中学习贝叶斯网络结构是一个非确定性多项式困难(non-deterministic polynomial hard,NP-hard)问题,当数据样本不充分时难以获得准确的模型,此时利用先验信息是一种有效的途径。但是利用先验信息的过程中如何适应不正确的先验信息,是一个待解决的问题。针对此问题,提出一种融合先验的方法进行贝叶斯网络结构学习,在评分搜索法的两个环节中解决这个问题:第一,提出了新的融合不确定先验信息的评分函数,考虑了先验信息与数据集的权衡。第二,提出了融合不确定先验信息的搜索策略,增强先验信息利用的鲁棒性。所提方法适用于任何启发式搜索。仿真结果表明了所提方法能有效地利用正确的先验信息,而且对错误的先验信息有较强的适应能力。

关键词:贝叶斯网络,结构学习,融合先验信息,评分函数,启发式搜索

0引言

概率论与数理统计为很多现代自然科学与工程问题的解决提供了有效的方法。贝叶斯网络作为一种概率图模型,其坚实的理论基础、知识结构的自然表述方式、强大的推理能力使其成为数据分析时强有力的建模工具,特别地在机器学习、数据挖掘、决策分析等领域,已成为了一种重要的数学工具。

贝叶斯网络可以手工构造也可以从数据中学习,后者称为贝叶斯网络学习,现在随着人工智能的发展和应用情况的复杂化,如何有效地进行贝叶斯网络学习是研究的主要内容,其中结构学习是研究的热点。

贝叶斯网络结构学习是一个非确定性多项式困难问题,通常需要较大的样本量,但有些情况下只能获得比较少的数据,用这些小数据进行结构学习会造成学习误差大、决策不准确的后果。利用先验信息能够有效提高学习准确度,弥补数据量的不足。

对于如何利用先验信息,有很多学者已经对此进行了研究,利用先验信息进行结构学习一般都使用评分搜索法,文献对这些方法做了一定的总结。比较典型的是以下几种:文献利用节点序作为先验信息,用K2算法进行学习;文献利用边是否存在作为先验信息;文献利用边存在的概率作为先验信息。

现有的文献都没有考虑到对错误不确定先验信息的适应能力,而在某些情况下,比如战场环境中应用贝叶斯网络需要较强的可靠性,且该环境下获得的数据量小,对专家先验信息的依赖比较大。所以当专家给出不正确的先验信息时,希望算法对错误有一定的适应能力,当先验信息有部分错误时,能够降低其对结果的负面影响。这样能够增强结构学习算法的可靠性和鲁棒性。

本文采用评分搜索的方法进行结构学习,在评分和搜索环节都利用了先验信息。首先本文提出了一种新的融合先验信息的评分函数,该评分函数融合先验信息的方式有两个特点:第一,当数据量越大时,评分先验项所占的权重越小;第二,评分函数的先验项可以任意构造,达到期望的要求。本文借鉴文献中构造先验的思想,设置一个关于先验信息的惩罚项,当先验信息与当前网络的差距越大,距离越大,惩罚越大。先验项的另一种构造方法是计算先验部分的联合概率,但精确求先验部分的联合概率是很复杂的,本文提出的方法相对简单有效。

在搜索环节,本文从增强鲁棒性的角度出发提高对错误先验信息的适应能力:评分搜索算法很容易搜不到与先验信息有关的边,就达到局部最优,这样就造成了先验利用的不充分,当先验信息存在部分错误时,现有的评分搜索算法可能会学到这些错误先验信息有关的边,而忽略了正确先验信息的边,虽然概率比较小,但是说明现有的算法鲁棒性不够好。本文提出一种关于先验信息的引导策略,在搜索过程中增加了一个先验信息搜索算子,从而扩展搜索空间,最后能充分地利用正确的先验信息,这样就能增强鲁棒性,从而提高对错误先验信息的适应能力。

1先验信息的表示方式

通常情况下,先验信息是专家对部分变量的主观认知,所以一般给出的是部分边存在的概率大小,而且专家也很难给出这些边的联合概率,能提供的是每条边存在的边缘概率。所以按照这种情况经行建模。

 


职称
论文

期刊
发表

加急
见刊

写作
咨询

课题
专答

编辑
顾问

关注
我们

返回
顶部