贝叶斯统计是统计的一个分支聊城大学工程训练中心网站，它的特点是把我们感兴趣的量（比如统计模型的参数）看作随机变量。给定观察数据后, 我们对这些量的后验分布进行分析从而得出结论。虽然贝叶斯统计的核心思想已历经很多年了, 但贝叶斯的思想在过去近20年对机器学习产生了重大影响, 因为它在对真实世界现象建立结构化模型时提供了灵活性。算法的进步和日益增长的计算资源使得我们可以拟合丰富的、高度结构化的模型, 而这些模型在过去是很棘手的。
这个路线图旨在给出贝叶斯机器学习中许多关键思想的指引。如果您正考虑在某些问题中使用贝叶斯方法, 您需要学习"核心主题"中的所有内容。即使您只是希望使用诸如 BUGS、Infer.NET，或 Stan等软件包, 这些背景知识也对您很有帮助。如果这些软件包不能马上解决您的问题, 但知道模型的大致思想可帮助您找出问题所在。
如果您正考虑研究贝叶斯机器学习, 那么许多论文会假设您已经掌握了核心主题的内容以及部分进阶主题的内容, 而不再给出参考文献。阅读本路线图时, 我们不需要按顺序学习, 希望本文可以在您需要时为您提供帮助。
项目参考聊城大学工程训练中心网站：
https://metacademy.org/roadmaps/rgrosse/bayesian_machine_learning
本文目录结构如下:
1. 核心主题
1.1 中心问题
参数估计
模型比较
1.2 非贝叶斯方法
最大似然
正则化
EM算法
1.3 基本推断算法
MAP估计
Gibbs采样
马尔科夫链蒙特卡洛(MCMC)
变分推断(Variational inference)
1.4 模型
混合高斯
因子分析
隐马尔科夫模型(HMM)
1.5 贝叶斯模型比较
贝叶斯信息准则(Bayesian information criterion)
拉普拉斯近似(Laplace approximation)
2. 进阶主题
2.1 模型
逻辑回归(Logistic regression)
贝叶斯网络(Bayesian networks)
Latent Dirichlet allocation(LDA)
线性动态系统(Linear dynamical systems)
稀疏编码(Sparse coding)
2.2 贝叶斯非参数
高斯过程(Gaussian processes)
Chinese restaurant process(CRP)
Hierarchical Dirichlet process
Indian buffet process(IBP)
Dirichlet diffusion trees
Pitman-Yor process
2.3 采样算法
折叠Gibbs采样(Collapsed Gibbs sampling)
哈密尔顿蒙特卡洛(Hamiltonian Monte Carlo)(HMC)
切片采样(Slice sampling)
可逆跳跃MCMC(reversible jump MCMC)
Sequential Monte Carlo(SMC)
粒子滤波器(Particle filter)
退火重要性采样(Annealed importance sampling)
2.4 变分推断
变分贝叶斯(Variational Bayes)
平均场近似(Mean field approximation)
期望传播(expectation propagation)
2.5 信念传播(Belief propagation)
2.5.1 树结构图模型
Sum-product algorithm
Max-product algorithm
2.5.2 非树结构图模型
循环信念传播(Loopy belief propagation)
连接树算法(Junction tree algorithm)
2.6 理论
无信息先验(uninformative priors)
最大似然的渐进(asymptotics of maximum likelihood)
来源：cnblogs
智能观 编译
鲁ICP备19065062号-8 | Powered By Z-BlogPHP 1.7.3