【论文笔记】A Bayesian Method for the Induction of Probabilistic Networks from Data

【论文笔记】A Bayesian Method for the Induction of Probabilistic Networks from Data

这篇属于加餐，机器学习课的作业。
是1992年的上古文章，应该就是GBN（Gaussian Bayesian Network）的最先提出文章。（具体是不是我也不确定，要等看完才能知道，大概是的。）

唉，这种上古文章读起来费劲啊。。。

简介 目标任务类型：

• 每个case代标一条数据
• absent=0，present=1
• 问题：x1和x3是否有直接相关的关系？
• 问题：如果给定x1，那么x3=1的概率是多少？

针对这样的问题，是没有绝对正确的答案的。答案的影响影响因素有很多，比如模型、数据等。

GBN方法的思想认为，答案很大程度上取决于数据库所提供的先验知识，并据此构建了贝叶斯置信网络。

贝叶斯置信网络 Bayesian Belief Network

贝叶斯置信网络的结构Bs（Structure）是一个有向无环图，节点代表变量，边代表变量间的概率依赖。（1988年提出来的）

这些变量可以是离散的，也可以是连续的。本篇文章讨论的主要在离散变量（应该是因为简单，便于说明？）

• 图中x1和x2之间有边，说明x1和x2这两个变量之间有概率依赖性（probabilistically dependent）。
• 同样的，x2和x3之间有边，说明x2和x3这两个变量之间有概率依赖性。
• 但是，x1和x3之间是没有边的，说明x1和x3这两个变量之间没有直接的概率依赖性。也就是说在给定x2的情况下x3值的概率与x1条件独立（conditionally independent）。

网络的参数Bp是一组条件概率。Bs和Bp共同构成了置信网络。

• 图中的每一个节点xi都有一个关于其父节点πi的条件概率P(xi|πi).
• 如果没有父节点，则是无条件概率P(Xi)。

在构建的过程中，有一个关键的问题就是如何确定变量间的相关性和独立性，比如例子中的有向图也可以画成下图这样。这个问题就需要专家的经验进行判断，因此构建有向图成为一件难度很高的事情。

而本文所提出的方法能够计算不同网络结构的相对概率，从而搜索到最合适的网络结构。

看到这里发现似乎不是我想找的论文，先不看了。

基本模型