基于能量的模型 (EBM) 通过将标量能量与变量的每个配置相关联来捕获变量之间的依赖关系。推理包括限制观察到的变量的值并找到使能量最小化的剩余变量的配置。学习包括找到一个能量函数，其中观察到的变量配置的能量低于未观察到的变量配置。EBM 方法为许多学习模型提供了一个通用的理论框架，包括传统的判别和生成方法，以及图变换器网络、条件随机场、最大边际马尔可夫网络和几种流形学习方法。
概率模型必须经过适当的归一化，有时需要对所有可能的变量配置空间求难以计算的积分。由于 EBM 不需要进行适当的归一化，因此这个问题自然而然地就被规避了。EBM 可以看作是一种非概率因子图，与概率方法相比，它们在架构和训练标准设计方面提供了更大的灵活性。
长期以来，人们一直认为，感觉神经元通过进化和发育过程，适应了它们所接触的信号的统计特性。Attneave (1954) 和 Barlow (1961) 提出，信息论可以通过编码效率的概念将环境统计数据与神经反应联系起来。统计建模的最新发展以及强大的计算工具使研究人员能够研究更复杂的视觉图像统计模型，根据大量数据对这些模型进行实证验证，并开始通过实验测试单个神经元和神经元群体的有效编码假设。
