哈希游戏作为一种新兴的区块链应用，它巧妙地结合了加密技术与娱乐，为玩家提供了全新的体验。万达哈希平台凭借其独特的彩票玩法和创新的哈希算法，公平公正-方便快捷!万达哈希,哈希游戏平台,哈希娱乐,哈希游戏纯粹的神经学习的局限性引发了对概率神经符号模型的兴趣，这些模型将神经网络与概率逻辑推理相结合。由于这些神经符号模型基于模型采样的无偏梯度估计器WeightME。在温和的假设下，WeightME通过对SAT求解器的对数次调用，以概率保证近似梯度

　　神经符号人工智能旨在将神经方法和符号方法的优势结合到一个统一的框架中（Garcez等，2019；Hitzler，2022；Marra等，2024）。一种突出的神经符号模型将神经网络与概率推理相结合（Manhaeve等，2018；Xu等，2018；Yang等，2021；Ahmed等，2023）。这些模型处于最前沿，但由于概率推理的#P难特性，存在可扩展性问题。概率推理已在概率图模型（Koller & Friedman，2009）和模型计数（Chakraborty等，2021）中得到了广泛研究。然而，神经符号学习由于其学习属性而不同于常规的概率推理：目标是高效获取有用的梯度，而不是精确计算概率。因此，我们研究了概率推理中梯度近似的问题，并证明了若干正面和负面的结果。

　　在第3节中，我们表明概率推理的难处理性也意味着在多项式时间内无法以概率保证近似梯度（除非RP = NP，其中RP为随机多项式时间）。然而，在第4节中，我们证明，当神经网络的输出趋于二值时，梯度近似问题在训练过程中变得可处理。另一方面，我们发现对于大型问题，这个可处理的区域可能变得难以到达。

　　在第5节中，我们通过允许访问SAT预言机来研究具有强保证的通用梯度估计器。我们引入了加权模型估计器Weighted Model Estimator（WeightME），这是一种用于概率推理的全新梯度估计器，依赖于加权模型采样。与现有的神经符号学习近似方法（Huang等，2021；Manhaeve等，2021；Ahmed等，2022；Li等，2022；van Krieken等，2023；Verreet等，2023）不同，WeightME在温和的假设下是无偏的，并且大概率近似正确。此外，WeightME在变量数量上只需要对SAT调用对数次数。

　　最后，第6和第7节提供了对现有近似技术的全面概述和评估。我们的结果表明，这些技术在优化仍可轻松精确解决的基准时遇到困难。这表明，如果我们希望将概率神经符号优化应用于更复杂的推理任务，则需要使用有原则的方法。

　　我们简要介绍命题逻辑和WMC。命题变量用小写字母表示（例如x或y）。文字是变量x或其否定¬x。命题公式ϕ结合了逻辑变量和通常的连接词：否定¬ϕ，合取ϕ1 ∧ ϕ2，和析取ϕ1 ∨ ϕ2。一个子句是文字的析取。一个CNF公式是子句的合取。一个DNF公式是文字的合取的析取。我们用var(ϕ)表示公式ϕ中的变量数量。我们用ϕ x表示在x为真的情况下的条件公式，即ϕ中x（resp. ¬x）的每个出现都被替换为true（resp. false）。

　　一个解释I是一组文字，代表变量的实例化。当x ∈ I（resp. ¬x ∈ I）时，我们说变量x在解释I中为真（resp. 假）。当ϕ在I的真值赋值下满足时，解释I是公式ϕ的模型，记为I = ϕ。可满足性问题（SAT）询问一个公式是否至少有一个模型，而模型计数（#SAT）询问一个公式有多少模型。加权模型计数（WMC）是对模型的加权和。

　　#SAT和WMC都是#P完全问题（Valiant，1979），甚至用概率保证来近似它们也是NP难的（Roth，1996）。

　　由于我们关注概率，我们只考虑对应于伯努利分布的权重。更具体地说，我们假设对于每个变量x，w(x) ∈ [0, 1]且w(x) = 1 − w(¬x)。因此，我们对解释有一个概率分布：P(I; w) = Π l∈I w(l)。

　　我们在上下文明确时省略权重函数 \(w\)。在附录 A 中，我们进一步讨论了如何处理分类分布和在加权模型计数（WMC）中处理无权变量，并解释了贝叶斯网络上的推理是如何简化为 WMC 的。

　　在神经符号的上下文中，权重 \(w\) 是由神经网络生成的概率。这些权重在初始化时通常是随机的，并且在训练过程中会逐渐接近 0 或 1，因为神经网络对其预测变得更加自信。

　　概率神经符号方法通过梯度下降迭代更新权重 w，从而优化 WMC。因此，就像概率模型中的推理可以简化为 WMC 一样，概率神经符号模型中的学习可以简化为对 WMC 求梯度。

　　定理 3.1 允许我们使用现有的关于 WMC 的结果来研究 ∇WMC 问题。值得注意的是，立即可以得出的结论是，计算精确的梯度与 WMC 一样是 #P 完全的。然而，梯度下降不一定需要精确的梯度。因此，我们研究 ∇WMC 的近似方法。特别是，我们关注以下两种近似方法：1）无偏差，2）具有概率保证。非正式地说，这意味着该近似方法 1）在期望值上是正确的，2）具有高概率接近于真实梯度。这种概率保证被形式化为 (ϵ, δ)-近似。

　　这里，✶(·) 表示指示函数。方程 2 导致了一个直接的蒙特卡洛近似，我们称之为解释采样。据我们所知，现有的所有 ∇WMC 无偏估计器都是基于解释采样的。我们可以使用常规技术（例如得分函数估计器，SFE，也称为 REINFORCE (Sutton 等人, 1999)）来获得梯度。

　　在神经符号环境下，解释采样在训练过程中可能变得可行。当神经网络变得更加自信时，即当权重 (w(x)) 接近 0 或 1 时，这种情况会发生。我们通过一个教学性质的 MNIST 加法任务来说明这一现象。

　　文件1是一张名为image.png的PNG图片文件，它包含了关于MNIST加法任务的描述。在这个任务中，数字分类器是通过远程监督来训练的。MNIST图像本身没有单独的标签，只有代表两组数字之和的标签。例如，输入的数字组合1720+2196对应的标签是3916。关于实验设置的更多细节，可以参考Manhaeve等人在2018年的研究。

　　图 2 展示了在 MNIST 加法任务中对 4 位数字进行精确推理的第一个训练周期。在每次迭代中，我们使用 SFE 估计梯度，并将其与真实梯度进行比较。最初，神经网络是随机的，估计梯度是不可行的。但是大约在700 次训练迭代后，出现了一个转变，之后采样的梯度成为了一个可靠的近似。

　　蕴含项（implicant）主导概率质量的假设之前已经在实证上被观察到（Manhaeve等人，2021），并且最近被证明对于所有WMC问题的最小值都成立（van Krieken等人，2024）。

　　由于我们对(ϵ, δ)-近似的定义涉及到单一的偏导数，梯度中的一些偏导数可能是可处理的，而其他的则不是。为了使定理4.1适用，我们需要WMC(ϕ ¬x)随着WMC(π)收敛到一而收敛到零。这通常情况会是这样，除非一个不同的蕴含项π′部分覆盖了π和(π x) ∧ ¬x。或者更非正式地说，当在收敛时没有达到可处理性，正是因为这个文字的值对于WMC来说并不重要。例如，这种情况可能发生是因为π不是素蕴含项，这意味着π x仍然是一个蕴含项。

　　定理4.1的实际相关性取决于神经网络在进入可处理区域之前必须多么接近收敛。我们对此进行如下形式化：

　　换言之，当神经网络在模型M的背景下，对var(ϕ)个权重中的τ个权重进行有信心的分类时，这些权重就被认为是τ-监督的。

　　定理4.3表明，在最坏的情况下，应该受到τ-监督的变量数量接近总变量数。更准确地说，神经网络允许误分类的变量百分比随着1/var(ϕ)的增加而减少。首先，这意味着定理4.1中的可处理性在实践中可能并不总是能够达到。其次，定理4.3表明，概念监督不能完全消除对近似推理的需求。概念监督是对逻辑变量权重的一些直接监督，而不是从头开始训练。例如，在MNIST加法示例中，一些图像会得到个别的标签（例如= 9）。

　　当WMC对于解释性采样来说太小的时候，我们需要寻找其他方法来获取梯度。在过去的几十年中，尽管模型计数是NP-hard问题，但在近似模型计数方面取得了相当大的进展（Chakraborty等人，2021）。利用这些进展来推动∇WMC，可能会提高带有保证的梯度近似的可扩展性。

　　Stockmeyer（1983）证明了使用PAC保证的模型计数是可能的，只需要多项式数量的SAT调用。最近，Chakraborty等人（2016）将这个数字精确到变量数量的对数级别的SAT调用。近似非加权模型计数的最新技术使用基于哈希的方法来实现这一点（Soos & Meel，2019）。简而言之，他们使用哈希函数随机划分解释空间，并在这些划分中计数模型。

　　基于哈希的方法可以立即被应用来获取梯度，使用定理3.1的分解。然而，这将需要2var(ϕ)次调用近似计数器来计算一个单独的梯度，因为每个偏导数都是单独计算的。此外，两个(ϵ, δ)-近似的减法会削弱提供的保证。

　　我们可以通过依赖模型采样来做得更好。加权模型采样（WMS）是从加权公式ϕ中采样模型的任务，选择模型M的概率为P(M)/WMC(ϕ)。使用WMS，我们引入了以下估计器。

　　1. 对于一个(ϵ, δ)-近似，所需的模型样本数量不会随着公式大小的增加而增加。事实上，w(x)和WMC(ϕ)依赖的条件并不依赖于公式的大小。因此，与定理4.1相比，定理5.3适用于大型公式，其中WMC(ϕ)非常小。

　　2. 定理4.1和5.3可以被视为互补的。当权重是二元的时候，IndeCateR的方差为零，而当权重接近1/2时，WeightME的方差较低。

　　3. 如果我们满足于∇log WMC而不是∇WMC，那么可以放弃定理5.3中拥有WMC(ϕ)的条件。这是一个合理的假设，因为WMC倾向于使用负对数似然损失进行优化。

　　WMS（加权模型采样）和WMC（加权模型计数）是多项式时间可相互规约的，因此精确的WMS也是#P-hard（Jerrum等人，1986）。因此，可扩展的WMS方法求助于近似，并不完全根据加权模型分布P(M)/WMC(ϕ)进行采样。至关重要的是，当WMS样本是(ϵ, δ)-近似时，定理5.3仍然适用（见附录C）。因此，只需对SAT预言机进行对数数量级的调用，就可以实现单个WeightME梯度（Chakraborty等人，2016）。

　　与WMC一样，具有PAC保证的近似WMS是使用基于哈希的技术实现的（Soos等人，2020）。模型采样的非加权变体比WMS受到了更多的关注（Chakraborty等人，2014）。然而，可以将加权问题转换为非加权问题（Chakraborty等人，2015），这可能使得可以利用非加权采样方面的进步来进行梯度近似。

　　有偏的WMS近似有望进一步扩展，但缺乏保证。Golia等人（2021）通过在有偏近似上使用采样测试器来研究这种权衡。这导致他们提出了一个高性能的求解器，它从一个在统计测试上与真实分布没有差异的分布中进行采样。Markov-Chain Monte Carlo（MCMC）技术也被提出用于模型采样（Ermon等人，2012）。不幸的是，组合问题面临着马尔可夫链的指数混合时间。Li等人（2022）通过使用SMT求解器中的投影技术来解决这个问题。

　　一个有前景的最近发展是使用神经近似进行模型采样。van Krieken等人（2023）将GFlowNets（Bengio等人，2023）的理论联系到模型采样。然而，据我们所知，这还没有在实际的WMC问题上实现。

　　存在各种近似推理方法，它们为了更好的可扩展性而牺牲了保证，通常不是NP-hard问题。理论并不总是与实践一致，因此，这些方法中的一些可能是有竞争力的。

　　我们全面概述了WMC的相关近似方法，但并不旨在全面。相反，我们专注于最值得注意和常见的方法。我们在表1中总结了所有方法。

　　k-Best使用包含最大概率的k个蕴含项的DNF来近似一个公式（Kimmig等人，2008；Manhaeve等人，2021；Huang等人，2021）。当一个公式的概率质量可以通过只有少量蕴含项来捕捉时，这种方法效果很好，对于这些蕴含项，精确的WMC是可行的。对于k = 1，k-Best与最可能的解释（MPE）一致。

　　k-Best蕴含项的概率质量可能会有很大重叠，因此k-optimal贪婪地搜索具有最大总概率的k-DNF（Renkens等人，2012）。找到这些蕴含项可以归结为迭代解决加权MaxSAT问题（Renkens等人，2014）。

　　均匀模型采样不考虑权重，均匀地采样模型。与k-Best一样，这些模型可以作为真实WMC的下限。Verreet等人（2023）主张在训练期间采取这种方法，以最大化样本的多样性。

　　模糊t-范数可以说是最常见的神经符号语义。它们用连续的泛化替换逻辑（布尔）操作（Badreddine等人，2022；van Krieken等人，2022）。例如，乘积t-范数计算合取为w(x ∧ y) = w(x) · w(y)，计算析取为w(x ∨ y) = 1 − w(¬x) · w(¬y)。至关重要的是，模糊语义在命题公式的大小上具有线性复杂性。t-范数也可以用作概率语义的近似。例如，乘积t-范数在假设所有子句都独立的情况下计算CNF的WMC。

　　神经近似。由于神经网络是通用近似器，最近的工作提出了使用它们来近似概率推理。从代数视角看，Zuidberg Dos Martires（2021）引入了神经半环，其中神经网络学习合取和析取的代数操作。Abboud等人（2020）使用图神经网络实现了这一点。作者将范围限制在DNF上，这是由于这个特殊情况的可处理性。

　　值得注意的是，一些有偏估计器即使在WMC非常小的情况下仍然可以给出梯度。

　　在估计形式为Ex∼P (x) f(x)的期望的梯度时，有偏估计器通常假设f是连续的。因此，我们需要一个连续的放松对于✶(I = ϕ)。我们考虑的直接解决方案是使用模糊语义来确定一个解释是否是公式的模型。

　　隐式最大似然估计（I-MLE）是为组合问题设计的有偏梯度估计器（Niepert等人，2021）。I-MLE使用扰动和MAP方法来近似梯度：通过对权重添加一些如Gumbel分布的噪声来扰动权重，并在这些权重上计算最可能的模型。因此，I-MLE可以被视为基于扰动的隐式微分的k-best的替代品。

　　折叠采样在达到时间或内存限制后，使用精确求解器，之后使用解释采样来估计剩余组件。与精确求解类似，变量排序的选择极大地影响了这种方法的有效性（Friedman & Van den Broeck，2018）。

　　语义强化将精确求解与模糊t-范数结合起来（Ahmed等人，2022）。它使用互信息来确定哪些子句对最违反独立性假设，因此最需要精确编译。剩余的连接词则使用t-范数计算。

　　显然，存在许多方法来近似WMC梯度，因此出现了哪种方法在实践中合适的问题。为此，我们评估了各种方法在一系列具有挑战性的WMC基准测试上的梯度。

　　基准测试模型计数竞赛（MCC）是关于（加权）模型计数的年度竞赛（Fichte等人，2021）。我们采用了过去三届竞赛（2021、2023和2023）的基准测试，并选择了那些具有概率性且可以被最新求解器精确求解的实例（Lagniez & Marquis，2017；Golia等人，2021）。作为一个更简单的基准测试，我们还包括了ROAD-R数据集中的逻辑公式（Giunchiglia等人，2023），该数据集对自动驾驶汽车的目标检测施加了约束。所有基准测试都是CNF公式。权重用均值为1/2的高斯分布初始化。

　　在第一个实验中，我们实证验证了哪些近似方法在初始化时成功完成了梯度估计任务。

　　质量 为了评估梯度的质量，我们计算了我们基准测试集中精确梯度和近似梯度之间的余弦相似度。表2总结了结果。WeightME取得了最好的结果，无论是与多项式方法还是NP-hard方法相比。对于多项式方法，乘积t-范数和Gumbel-Softmax表现最佳。哥德尔t-范数表现不佳，因为它按设计只为一个变量提供非零梯度。SFE通常无法采样到模型，这就是为什么它在这些基准测试上表现非常差。IndeCateR没有包含在结果中，因为它受到这个问题的影响更大。非加权模型采样在较小的ROAD-R基准测试上表现与WeightME相似，但在更具挑战性的问题上落后。

　　可扩展性 在图3中，我们查看了各种方法的运行时间。在时间限制（每个实例5分钟）内，没有一种NP-hard近似方法能够解决所有基准测试。令人惊讶的是，没有一种测试的MaxSAT或近似WMS求解器能够完全匹配d4。多项式方法的扩展性非常好，正如预期的那样，除了语义强化方法，在子句数量高时很快就变得不可行。

　　之前的实验评估了孤立单个梯度的质量。然而，真正的问题是近似梯度是否足以进行优化。表2中的设置对具有高梯度方差的无偏方法进行了惩罚。因此，在第二个实验中，任务是优化公式的对数似然。我们可以将这看作是概率神经符号学习的必要（尽管不一定是充分）要求。明确找到模型的NP-hard方法可以轻易地完成这项任务，因此从这个实验中省略。

　　在图4中，我们让多项式近似方法在MCC基准测试的一个较容易的子集上优化一个公式的对数似然。这些基准测试的变量少于1000个，远低于最新精确求解器的限制。我们绘制了在最多10000次迭代内实现的最佳损失。我们的结果表明，没有一种经过测试的方法能够一致地进行优化。图4中的结果还包括一些新的基线，这些基线在附录D中描述。在附录E中，我们进一步验证了添加概念监督并不能缓解优化问题。

　　梯度估计在机器学习中是一个研究充分的问题（Mohamed等人，2020）。现有的研究已经研究了分类分布的梯度估计（Jang等人，2016；Maddison等人，2016；De Smet等人，2023），而我们是首次关注WMC的梯度。van Krieken等人（2022）分析了神经符号学习中模糊语义的梯度。另一方面，我们针对的是具有概率语义的神经符号学习。

　　与我们的工作相关，Niepert等人（2021）提出了一种基于最可能模型的黑盒组合求解器的梯度估计器，这种估计器既有偏也有难度，比近似加权模型样本更难计算。Verreet等人（2023）引入了一种使用非加权模型样本的神经符号优化方法，这是出于增加样本多样性的动机。然而，非加权采样提供的保证较弱，同时难度与加权采样一样。

　　与任何实证研究一样，第7节的结果受到所选择基准测试的影响，可能无法推广到所有神经符号任务。我们的工作仅考虑了命题逻辑，而一些神经符号系统针对的是更具表现力的一阶逻辑。一阶神经符号系统通常会将其理论具体化，因此这里研究的命题情况仍然相关。加权一阶模型计数的推理要困难得多（Gribkoff等人，2014），因此更需要进行近似。我们也没有考虑DNF，与CNF相反，DNF允许一种可处理的(ϵ, δ)-近似（Karp等人，1989）。

　　我们通过将概率推理的梯度估计问题与加权模型计数联系起来，研究了概率推理的梯度估计。这使我们能够证明关于不可解性的一些结果，并证明在训练过程中神经符号学习的梯度估计如何变得可处理。接下来，我们贡献了一个建立在近似计数和采样进展基础上的通用梯度估计器。我们展示了恒定数量的加权模型样本足以实现强有力的保证。

　　最后，我们将注意力转向现有的近似方法。我们的实验表明，没有一种多项式方法能够一致地优化公式。相比之下，现有的NP-hard近似通常难以扩展，同时缺乏保证。潜在的进一步工作包括提高我们对加权模型样本近似与WeightME的PAC保证之间相互作用的理解，并将我们的分析从命题逻辑扩展到一阶加权模型计数。

　　特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

　　历史最大合同！塔图姆5年3.15亿的合同下赛季开始执行 起薪5413万

　　女硕士患精神疾病走失10余年被找回追踪：哥哥称妹妹治疗中，检方称正办理此案

　　2.73 毫米：三星最薄旗舰 Galaxy S25 Edge 配全新定制振动马达

　　《编码物候》展览开幕 北京时代美术馆以科学艺术解读数字与生物交织的宇宙节律