置顶:概率图模型体系:HMM、MEMM、CRF  https://zhuanlan.zhihu.com/p/33397147

有向图模型,又称作贝叶斯网络。
无向图模型,又被称为马尔科夫随机场或者马尔科夫网络。

6、讲到crf势函数的由来

http://web.science.mq.edu.au/~mjohnson/papers/CRF-intro-slides05.pdf

势函数 *** machine learning a probabilistic perspective  p666

 

5、类似统计学习方法中的介绍

图模型(二)条件随机场(Conditional random field,CRF) https://www.cnblogs.com/Determined22/p/6915730.html

 

4、最大熵马尔科夫与crf区别

最大熵马尔科夫存在马尔科夫假设,认为当前隐含状态x只受前一个隐含状态和全部观测状态的影响。所以是局部最优。

而条件随机场是 当前隐含状态受其他所有隐含状态 和 全部观测序列的影响。是全局最优。

 

标注偏置:

概率图模型-保持愤怒

 

 

3、概率建模。参考资料:https://share.weiyun.com/5Z9olps

NB: 对联合概率建模。有向图。条件概率正比于联合概率。联合概率使用条件独立性假设,变成单维度条件概率连乘。

概率图模型-保持愤怒

HMM:序列联合概率建模。有向图。求的是y向量与输入向量x的联合概率。当前y只受隐变量和前一状态的影响。

概率图模型-保持愤怒

ME:条件概率建模。无向图。(x,y)认为是最大团。通过最大化熵求条件概率。

熵:

概率图模型-保持愤怒

熵最大:

概率图模型-保持愤怒

模型的解:

概率图模型-保持愤怒

可以看到是 线性的指数函数。此类又称为对数线性模型,即取对数后是一个线性模型。

对数线性模型包括逻辑回归、最大熵模型和条件随机场等

CRF:序列条件概率建模。

从《概率图模型:原理与技术》书中读到,说CRF是部分有向图(partially directed graph)。终于解决了我心中的困惑。各种资料都说是无向图。

而实际上general CRF是无向图。但是,我们目前应用的均是线性链CRF。

Y_i依赖Y_i-1 , Y_i依赖于X向量。

书中原话:条件随机场定义了Y关于X的一个条件分布,隐刺可以将其视为一个部分有向图,其中,Y上存在一个无向的分量,X中的变量是其父节点。

即两个φ(Y_t, Y_t-1), φ(Y_t, X) 势函数。

 

拆解成最大团,是所有最大团的势的连乘。

【无向图G中任何两个结点均有边连接的子集,称作G的团(Clique)。若C是G的一个团,并且不能再加入任何一个G的结点使其称为团,则C称作G的最大团(Maximal Clique)。】

【UGM(概率无向图)的联合分布可以表示成最大团上的随机变量的函数的乘积的形式;这个操作叫做UGM的因子分解(Factorization)。】

概率图模型-保持愤怒
概率图模型-保持愤怒

个人感悟: 为什么势函数使用指数函数?

因为概率无向图的因子分解,是对其全部最大团的乘积形式。使用指数函数,则对于要求解的参数变成了连加。

# 势函数

概率图模型-保持愤怒
概率图模型-保持愤怒

 

概率图模型-保持愤怒

模型的解:特征函数的对数线性模型。

概率图模型-保持愤怒
概率图模型-保持愤怒

 

概率图模型-保持愤怒

 

 

2、概率图模型之间关系

概率图模型-保持愤怒
概率图模型-保持愤怒

 

1、最大熵ME

最大熵学习笔记(零)目录和引言  https://blog.csdn.net/itplus/article/details/26550597

 

0、hmm的基本问题

概率图模型-保持愤怒