Tsetlin机器的360度全方位综述：概念、应用、分析与未来

https://www.techrxiv.org/users/925454/articles/1297260-a-360-degree-review-of-tsetlin-machines-concepts-applications-analysis-and-the-future?utm_source=chatgpt.com

A 360-Degree Review of Tsetlin Machines: Concepts, Applications, Analysis, and the Future

Tsetlin机器的360度全方位综述：概念、应用、分析与未来

摘要

随着大语言模型的兴起，训练过程中的高功耗问题以及模型的“黑箱”特性成为两大显著挑战。Tsetlin机（Tsetlin Machine, TM）作为一种基于逻辑、具有可解释性的机器学习（ML）替代方案，为解决这些问题提供了可能。TM已广泛应用于多种机器学习任务以及能效较高的硬件系统中，特别是在边缘计算和物联网设备领域。与神经网络相比，TM所需的计算量显著减少，收敛速度更快，并且能够在多种硬件平台上实现，包括现场可编程门阵列（FPGA）、超导电路以及忆阻器-晶体管阵列。为填补研究空白，本文提供了一个全面的参考资源，包含了超过160种TM的实现方法。在本教程与综述中，我们基于学习自动机（Learning Automata）的背景，详细解释了基础Tsetlin机的算法。随后，我们讨论了多种TM变体，包括回归型Tsetlin机、基于联邦学习的Tsetlin机、聚合型Tsetlin机（Coalesced TM）、实数与整数权重Tsetlin机，以及用于文本和图像分类的卷积Tsetlin机。我们根据这些软件与硬件实现的算法相似性对其进行分类，并使用准确率、训练时间、每次分类的能耗以及工作频率等关键性能指标进行比较。此外，我们还阐述了在综合分析中观察到的总体趋势、得出的洞见、现有实现方案的局限性，以及未来研究的潜在方向，以进一步拓展其在高效能物联网与边缘计算应用中的适用性。

关键词——Tsetlin机，学习自动机，强化学习，物联网，深度学习，边缘计算

I、引言

随着人工神经网络（ANNs）和深度学习（DL）近年来取得的巨大成功，人们对训练这些模型所产生的碳排放和环境影响日益关注。因此，开发低能耗的物联网（IoT）应用变得至关重要。Tsetlin机（Tsetlin Machine, TM）为神经网络提供了一种计算需求更低且精度高的替代方案。

M.L. Tsetlin 在20世纪60年代初提出了Tsetlin自动机（Tsetlin Automaton）以及Tsetlin自动机群体（Tsetlin Automata, TA）的概念 [2], [3]。M.L. Tsetlin 将这种自动机称为“老鼠大脑”，因为它类似于一个游戏中被困的老鼠通过奖励和惩罚机制来猜测食物的正确方向。后来，Ole-Christoffer Granmo 将成千上万个这样的独立数学“老鼠大脑”与命题逻辑相结合，生成用于识别模式的逻辑表达式——而模式识别正是人工智能的核心目标。由此，Granmo 发明了Tsetlin机（TM）。

Tsetlin机：TM 是一种基于命题逻辑的决策算法，在此语境下，命题逻辑即指布尔代数。它由大量Tsetlin自动机（TA）组成。Tsetlin自动机是一种学习自动机（Learning Automaton）。在博弈论中，自动机是一种自我控制的计算单元，能够自动执行预定的动作序列。学习自动机则通过根据环境反馈更新动作概率来执行核心操作 [5]。由于TM由有限数量的学习自动机（LA）构成，因此也被称为有限状态机（FSM）。

尽管过去十年中机器学习（ML）和深度学习（DL）算法取得了令人瞩目的成果，但人们对Tsetlin机的兴趣日益增长，主要有两个原因。首先，TM增强了机器学习算法的可解释性。传统的ANN模型常被称为“黑箱”模型，因为其训练和决策过程不透明，无法解释预测背后的逻辑。相比之下，TM采用简单的“与”（AND）和“或”（OR）逻辑，使其决策策略清晰易懂，具有直观的可解释性。

其次，尽管深度学习在自然语言处理（NLP）等任务中取得了显著成功，但这些模型结构复杂。例如，当前最先进的模型如OpenAI的GPT-4 Omni（参数量估计为1.5至2万亿）和DeepSeek R1（参数量估计为2000亿），在训练过程中需要巨大的计算资源和能量消耗，其能耗往往相当于数百户家庭数天的用电总量。这些需求也使得大型模型难以在资源有限的现场可编程门阵列（FPGA）板卡或其他硬件上实现。TM通过使用特征的位级表示和简单的布尔运算，有效应对了这一挑战，计算成本低，非常适合硬件部署。

由于TM结构轻量，其内存占用小、运行速度快，分类性能更优。Granmo [1] 表明，在MNIST数据集上，TM的整体内存使用量约为传统模型的十分之一，学习速度提升3.5倍，分类速度提升八倍，这得益于TA的位级表示。此外，TM被认为解决了长期存在的“信号-噪声比消失”问题。TM的学习过程可类比于博弈论中的“Goore游戏”[6]。在这种去中心化的决策游戏中，一组独立且相互作用的参与者（即TA）在随机环境中协作，通过投票“是”或“否”来优化一个离散变量函数。每个参与者引入一定噪声，这种噪声体现为由于各自动机动作的随机性导致目标函数方差增大。然而，TM能够缓解这一问题，确保学习过程更加稳定和可靠。

自2018年Ole-Christoffer Granmo首次提出TM以来，该领域已取得显著发展。Granmo的开创性工作[1]提出了全连接深度TM、卷积Tsetlin机（CTM）和回归Tsetlin机（RTM），为后续研究奠定了基础，但当时这些模型的有效训练方法仍在探索中。如今，TM已在图像处理和自然语言处理（NLP）等任务中与传统深度学习算法展开竞争。已有少数文献对TM与神经网络进行了比较，或验证了TM的某些特性。Tarasyuk等人[7]概述了TM的架构及其超参数，并与ANN进行了对比。Sharma等人展示了感知机与实数权重Tsetlin机（RWTM）之间的相似性[8]。Lie等人对神经网络与TM在实现性能、准确率和能效方面进行了比较分析[9]。Przybysz等人[10]提出了TM的精确命题逻辑编码，并验证了其鲁棒性、等价性和模型相似性等性质。

本文主要贡献如下：

• 这是首篇全面综述，系统性地收集并分析了截至本文提交时所有关于Tsetlin机的已知期刊论文、会议论文、学位论文和技术报告，覆盖了TM研究的完整谱系。

• 与以往仅关注TM学习特定方面的比较研究不同，本文广泛讨论了TM在分类、自然语言处理、强化学习（RL）等各类应用，以及FPGA和ASIC加速器、异步TM架构、能效型边缘AI等专用硬件实现中的应用。

• 对多种TM变体进行了全面比较，突出其优势、劣势及适用场景，有助于深入理解其性能表现及在不同任务中的适用性。

• 提供了关于不同问题领域中各类TM变体有效性的关键洞见和可推广结论，系统评估了其优点与局限。

• 识别出当前TM研究中的关键空白、未探索方向和开放性挑战，为未来提升TM模型的可扩展性、效率和适应性指明了方向。

本综述系统地讨论了TM技术家族发展的各项进展。本文结构如下：第二节介绍学习自动机（LA）的文献综述；第三节详细阐述TM算法；第四节探讨其在机器学习中的应用；第五节聚焦基于深度学习的应用，特别是图像处理和自然语言处理；第五节-C部分介绍TM的其他多样化应用；第六节展示TM的硬件实现；第七节讨论未来可能的研究方向；第八节为全文总结。表I列出了本教程与综述中频繁使用的全部缩略词。

II. 学习自动机的背景

由于Tsetlin自动机是第一个学习自动机[11]，这里简要讨论了LA（学习自动机）如何先前被应用于模式识别问题。LA在未知的随机环境中做出最优决策。TA（Tsetlin自动机）由多个Tsetlin自动机构成。多个TA团队构成TM（Tsetlin机器）。为了完整性，下面定义了学习自动机和Tsetlin自动机。

由于在每一步中，只能执行两个动作，因此这也被称为“双动作Tsetlin自动机”。图1展示了TA团队中的每个学习自动机（LA）是如何学习应将哪些文字（literals）包含在合取子句（conjunctive clause）中的。假设一个学习自动机处于状态1、2、3。在这种情况下，对应于该文字的字面量将被排除在合取子句之外；而当自动机处于状态4、5、6中的任意一种时，该文字则会被包含在内。每个文字（x₁, x₂）代表一个类别特征。如果某个文字出现在由TA团队学习得到的最终合取子句中，则表示该特征与特定类别相关；例如，“有翅膀”这一特征用于表示“飞机”类别。

学习自动机（LA）可用于解决模式分类问题 [12]。Tung等人展示了有限状态自动机之间的分布式协调如何产生自优化且自控制的博弈过程 [13]。针对多自动机系统的在线优化算法可以确保收敛到全局最优解 [14]。LA已被用于解决各种问题，例如通过处理任何程度的不公平评分来识别高质量服务 [15]，在网页监控中解决受限制轮询能力下的资源分配非线性分数背包类问题以优化信息发现 [16]，以及求解可满足性问题（Satisfiability Problem）[17]。Zhang等人 [18] 提出了一种基于LA的新估计器算法——离散化贝叶斯追击算法（Discretized Bayesian Pursuit Algorithm），其具有类似于TA的离散动作概率空间。在文献[19]中，Bouhmala等人引入了一组有限状态学习自动机（Finite LA），结合随机游走算法，利用布尔可满足性编码来求解图着色问题（一种组合优化问题，目标是为图的顶点分配颜色，使得任意两个相邻顶点不共享相同颜色，同时使用最少的颜色数）。

Tsetlin自动机（TA）支持在噪声环境中进行在线学习。具体而言，TA能够解决多臂老虎机问题 [20]。TA的应用已扩展到多个领域，例如：两级资源分配自动机的层次结构用于资源分配 [21]，Ommen等人提出的在线随机搜索（Stochastic Searching on the Line, SSL）算法 [22]，等分划分 [23]，用于社交活动网络的流式采样算法 [24]，基于树状转移的随机游走-跳跃链分析 [25]，在欺骗性环境中的分层SSL [26]，以及用于多协议标签交换网络中带宽保障路径计算的自适应在线路由算法 [27]。图2总结了学习自动机在不同领域的应用。在下一节中，将详细阐述基于Tsetlin机的学习与推理过程。

III、Tsetlin机算法

为了理解Tsetlin机（TM）如何作为现代神经网络的一种可解释替代方案，必须首先掌握其基本TM的模式学习算法。该算法的各个阶段，例如模式匹配设置、反馈、状态更新，以及使用训练后的状态位对测试特征集进行推理，将在下文逐一描述。

其中 j = 1, ..., N。在这 N 个子句中，有 N/2 个是正子句，包含有助于预测某一特定类别的特征；另外 N/2 个是负子句，包含描述样本不属于某一特定类别的特征。当正子句的条件满足时，它们对分类决策起正面促进作用；而当负子句的条件满足时，它们则对分类决策起负面抑制作用。在训练过程中，空子句的输出为“1”，而在推理阶段，其输出为“0”。此外，如果一个子句包含的文字过多，说明它未能学习到适用于该类所有对象的泛化子模式，从而导致过拟合；相反，如果一个子句包含的文字过少，则意味着该子句未能完整捕捉该类对象的全部特征（文字），从而导致欠拟合。

对于给定的样本 X，整体分类决策可以表示为所有正子句和负子句评估结果的综合。在一个简单的二分类任务中，该决策可表达为：

B. 训练与更新算法

Tsetlin机（TM）中的每个子句都是一条规则。子句的数量 m通常通过网格搜索（grid-search）根据数据集的复杂性确定。所有这些规则都是独立且并行地学习的。在TM内存中，所有文字（literals）初始时被设置在“遗忘”和“记忆”状态之间的分界处，表示“即将被记住但当前仍处于遗忘状态”。为了学习一条描述某对象属于特定类别（例如 ω）所需特征的规则（即子句），存在两种反馈：一种是当该子句评估结果为“1”时的反馈，另一种是评估结果为“0”时的反馈。这两类反馈统称为第一类反馈（Type-I Feedbacks）。

C. 推理

训练完成后，使用Tsetlin自动机（TA）的状态位序列进行推理，该序列包含最重要（即最新）的比特位。具体而言，对于一个新的测试样本，首先将其 n 个布尔特征进行取反，从而生成一个长度为 2n 的输入比特序列。该输入比特序列与训练好的TA状态比特序列进行逻辑“与”（AND）操作，生成用于投票的输出比特，进而根据设定的阈值预测所属类别。经过阈值判断后，基于所有子句的聚合结果得出最终的分类结果。不同的子句组（即“团队”）试图学习代表特定类别的不同特征集合；对于测试数据，最终分类结果由所有团队的多数投票决定。

D. 最新改进的Tsetlin机学习算法

正如我们将要讨论的，标准Tsetlin机（TM）学习算法在子句优化、自动调参、稀疏数据处理以及抗噪声能力等方面已得到进一步改进。

1）子句优化技术：
TM依赖子句来捕捉数据模式，但如何优化这些子句仍是当前研究的关键挑战。一种方法是子句丢弃（Clause Dropout）[34]，即在训练过程中随机停用部分子句，类似于神经网络中的蒙特卡洛丢弃（Monte Carlo dropout），可提升泛化能力并减少过拟合。另一种方法是子句索引（Clause Indexing）[35]，通过查找表高效过滤无关子句，从而加快训练速度。此外，实数权重Tsetlin机（RWTM）[36]通过为子句分配实数值权重来提升TM效率，在保持准确率的同时减少所需子句数量。其权重更新机制与感知机的梯度更新非常相似[8]。尽管这两种方法仍可能产生过拟合，但TM在子句长度确定、决策边界可视化和可解释性方面更具灵活性。

聚合Tsetlin机（Coalesced TM, CoTM）通过在多个输出之间共享和加权子句来解决多输出问题（参见图3）。它通过交互的SSL（Stochastic Searching on the Line）团队和TA团队来学习子句的组成与权重[37]。子句大小约束TM（Clause Size Constrained TM）[39]引入了软性子句长度限制，自动剔除多余的文字符号，防止子句过大，从而以更少的文字实现更高的效率和准确率。文献[40]提出的“标准Tsetlin机自动最优子句搜索范式”（MILEAGE）能够搜索出足以解决分类问题的最小子句数量，在保持竞争性准确率的同时，实现高达63%的模型压缩。针对高维数据中大量子句的情况，TM的局部与全局可解释性已有闭式表达式，这些表达式支持在高维场景下实时追踪特征重要性[41]。

2）特征选择与持续学习：
在TM中进行高效的特征选择可提升推理与学习效率。一种基于反馈的方法利用上下文相关的独立性自动机，剪除马尔可夫边界之外的无关特征[42]。与此同时，自适应Tsetlin机（AdaTM）引入基于逻辑的自适应机制，缓解灾难性遗忘问题，确保在不丢失已有知识的前提下实现持续学习[43]。

3）超参数优化与子句粒度控制：
优化TM性能需要仔细调整子句数量以及特异性参数 s和 T。系统性搜索揭示了 s与 T之间存在反比关系，从而明确了在MNIST等任务上的最优配置[44]。多粒度Tsetlin机（Multigranular TM）通过在子句内部编码不同层次的特异性，消除了对特异性参数的手动调优，在更少超参数下实现相当的性能[45]。

4）节能型与稀疏型TM变体：
通过用多步有限状态自动机替代随机TA，可降低功耗，实现可控的能效-精度权衡[46]。进一步的效率提升可通过循环平稳随机数序列实现，在降低随机性分辨率的同时保持鲁棒性[47]。稀疏Tsetlin机（Sparse TM, STM）[38]仅激活相关文字符号，从而减少内存消耗（参见图4）。另一种STM变体通过引入吸收态TA（absorbing TA states），在训练过程中动态剪除不必要的文字，实现更快的学习速度和更低的能耗[48]。此外，将TA重构为三动作自动机，可同时做出“包含”与“排除”决策，分别减少36%的资源占用和39%的功耗[49]。

5）噪声处理与鲁棒学习：
确保TM在噪声环境下的鲁棒性对其实际应用至关重要。一种策略[50]通过监控子句行为并动态调整学习率来应对噪声。预处理方法如主成分分析（PCA）和偏最小二乘回归（PLS regression）可提升TM在高维数据集上的性能[51]；而在生物医学应用中，基于特征分布的离散化与规则挖掘方法可在低信噪比（SNR）条件下保持分类准确率[52]。一种聚焦负采样技术可提升对比学习效果，在增强类别分离的同时减少训练时间与能耗[53]。

6）协同学习与分层学习：
多个专业化TM之间的协作可提升在Fashion-MNIST和CIFAR等数据集上的分类准确率[54]。算法扩展方面，引入非对称随机转移以实现更精细的模式识别[55]，以及构建多层Tsetlin机以捕捉超越单层能力的分层特征[56]。在图1中，每个动作的深度为1，但实际上每个动作可包含更多节点。TA可与强化学习智能体结合，使其在每一轮训练中动态学习最优深度[57]，从而平衡TM的探索与利用能力。

另一方面，文献[48]提出一种具有吸收态TA的STM，其中每个子句中文字对应的TA具有吸收性的“排除”和“包含”状态。当达到预设目标时，TA的学习过程即停止。在训练过程中，利用哈希表动态移除子句和自动机中的冗余文字。该方法通过一种新颖的稀疏数据结构（包含三个动作列表：已吸收的包含、包含、排除）实现模型收缩，从而加速学习并降低能耗。文献[49]详细阐述了两种用以替代TM中两个双动作自动机的三动作自动机变体，它们能同时对某个特征及其否定文字做出“包含-排除”决策，使资源使用减少36%，功耗降低39%。

IV . Tsetlin机在机器学习中的应用

Tsetlin机（TM）已被广泛应用于各种模式学习问题，最初以软件形式实现，随后被适配到硬件平台。图8展示了这些具有代表性的软件实现。为了分析其影响，我们将软件实现及其后续应用分为机器学习（ML）和深度学习（DL）两类。需要指出的是，尽管深度学习是机器学习的一个子集，但传统机器学习通常在结构化数据上表现更优，而深度学习则在非结构化数据上更具优势。我们首先探讨TM在机器学习中的作用，以展示其理论学习算法的实际效用，以及基于TM的机器学习方案如何与传统机器学习算法相媲美甚至更优。在本节中，我们将讨论TM在传统机器学习任务中的应用，包括分类、回归和聚类。基于TM的机器学习算法的实际应用如图8(a)所示。

A. 分类

TM最初在文献[1]中被提出用于分类任务，并在某些分类数据集上表现出与传统机器学习算法相当甚至更优的效率，如表VII所示。自那以后，TM已被应用于多个学科领域的分类任务。例如，有研究引入了基于逻辑回归的置信度评分，取代硬性决策函数，从而实现预测结果的排序以及更敏感的曲线下面积（AUC）计算[60]。在整数权重Tsetlin机（Integer-Weighted TM, IWTM）中，通过整数加权子句紧凑地表示重复的子模式，提升了可解释性和效率，在内存占用极小的情况下实现了更优的F1分数[59]（参见图6）。IWTM在使用最少的文字数量以及训练与测试总内存的前提下，其F1分数优于标准TM、实数权重TM（RWTM）以及其他传统算法（如表III所示）。

领域特定的分类应用：
基于TM的分类器已在多个不同领域得到应用。在生物医学领域，已有研究采用TM框架从心电图（ECG）信号中实现可解释的室性早搏检测[62]；而聚合型IWTM（Coalesced IWTM）则利用布尔逻辑对原核生物基因进行DNA序列比对与预测[63]。另一种方法将TM应用于政治暴力预测，通过可解释的规则生成实现内战预测[64]。

除了生物医学领域，基于TM的分类器还被用于：利用毫米波调频连续波雷达（mmWave FMCW radar）进行空中飞行器活动识别[65]；通过建模ECG信号中的时间依赖关系实现可解释的心跳分类[66]；基于MRI提取的放射组学特征预测直肠癌患者生存率[67]；利用遗传数据对海底物种进行分类识别[68]；以及基于异常检测的入侵检测系统[69]。

B. 回归

回归型Tsetlin机（Regression Tsetlin Machine, RTM）[58], [70] 将Tsetlin机扩展至非线性回归任务，其方法是将连续输入转换为二进制表示，同时保留语义关系。RTM取消了子句的正负极性，并对无极性子句的投票结果进行聚合，以实现连续输出的预测（见图5）。通过引入反馈激活概率函数，RTM确保了学习过程的稳定性，根据预测误差和一个缩放参数K动态调整子句更新，从而避免学习过程中的振荡。

RTM的特征二值化与预处理：为了增强RTM处理连续特征的能力，文献[71]、[72]提出了一种标准化的特征变换方法，以缓解实际应用中因尺度变化带来的影响。该方法包括采用分层采样技术，在保持预测精度的同时减少二值化所需的阈值数量。这些改进使RTM在真实世界的预测任务中优于传统机器学习模型，例如登革热疫情预测[73]、疫情期间公共交通乘客数量估计[74]，以及短期能源需求预测[75]。

RTM的稳定性与优化：文献[76]提出了一种分层学习模型——“主-教师评分机制环境”（Principal-Teacher Marking Scheme Environment），通过在训练过程中持续更新当前最优解，提升了分布式学习场景下的预测准确性。另一项改进是基于SSL（Stochastic Searching on the Line）的TM回归方法[77]，该方法仅使用四个自动机即可动态学习连续输入的上下界，从而减少了对多个二值化阈值的依赖。

基于RTM的不确定性量化：RTM还被扩展用于偶然性不确定性（aleatoric uncertainty）的估计，方法是分配专用子句分别预测输出的均值和方差[78]，但在关键应用中如何最小化方差预测错误仍是一个开放性问题。为进一步提升性能，文献[79]提出增加一个TM层，用于对不确定性进行分类和解释，通过学习可解释的子模式来增强对分布外样本（out-of-distribution）的检测能力。此外，概率型Tsetlin机（Probabilistic TM）[80] 将离散的TA状态更新替换为概率分布，支持类似贝叶斯的采样机制，从而实现更鲁棒的推理，将不确定性建模扩展到连续预测之外。

C. 聚类

预排序Tsetlin机（Pre-Sorted TMs）[61] 通过使用加速遗传算法选取K个具有最大分散度的数据点，随后进行K-中心点（K-Medoid）聚类，并通过最大化汉明距离对K个独立的Tsetlin机进行对齐，从而提升监督式TM学习的效率（参见图7）。通常情况下，TM的学习是监督式的，但标签-评判TM（Label-Critic TM）[81] 提出了一种自监督学习框架，用于实现可解释的聚类。该方法采用双TA系统：标签TA（Label-TA）基于自我修正的逻辑子句学习标签，评判TA（Critic-TA）则对这些标签进行验证，从而在没有真实标签的情况下实现分层聚类。

Fuzlearn [82] 提出了一种新颖的基于模糊聚类的机器学习方法，利用学习自动机（LA）实现模拟信号到布尔表示的分类。该方法缓解了传统TM所需复杂数据编码流程的问题，而这类编码过程往往带来显著的计算开销。

V、Tsetlin机在深度学习中的应用

Tsetlin机（TM）为深度学习（DL）应用提供了一种极具吸引力的替代方案，它能够在无需反向传播的情况下学习复杂特征，因此特别适用于图像和自然语言等非结构化数据。超向量Tsetlin机（Hypervector TM）是一种先进的TM变体，通过基于超维向量的布尔化（Booleanization）来处理此类数据。Halenka等人[83]提出了在稀疏超空间中优化TM性能的技术，利用“排除式推理”（Reasoning by Elimination）提升效率。一个典型应用是高频交易，其中超向量TM模型利用订单簿的不平衡信息来修正微观价格估计，从而提高预测准确性[84]。此外，研究还探索了多维序列的编码策略，以支持序列学习与预测，使TM成为嵌入式系统中在线学习的理想选择[85]。

除了超向量TM，还出现了针对特定应用场景定制的TM模型，用于图像与文本理解。同时，基于TM的方法也被拓展至强化学习（RL）和联邦学习（FL）。尽管这些方法超出了传统深度学习的范畴，但由于其在计算机视觉和自然语言处理（NLP）任务中的良好适应性，仍将其归入本领域讨论。基于TM的深度学习算法的实际应用如图8(b)所示。

A. 自然语言处理

即使在ChatGPT和DeepSeek等大语言模型兴起之前，自然语言处理（NLP）早已是深度学习的重点研究领域。然而，人们对可解释的语言理解方法的需求依然强烈。因此，研究人员探索了基于逻辑、具有可解释性的Tsetlin机架构在各类NLP任务中的潜力[87]。

文本分类与新颖性检测：文献[88]首次尝试将Tsetlin机（TM）用于更深层次的自然语言理解，提出了一种基于命题逻辑的文本分类方法。该方法通过判断特定医学术语是否存在，构建简单的命题公式，实现了高精度且可解释的分类。另一种更结构化的新颖性检测方法[89]利用合取子句识别常见模式，并通过打分机制对新输入进行分类。然而，该方法未能揭示每个单词对新颖性分类的具体贡献。为此，后续研究[90]量化了每个单词对新颖性判断的影响；而文献[91]则提出了一种基于TM的新颖性评分机制，用于衡量文本与已知类别之间的相似度。

虚假新闻检测与TM自编码器：TM子句能够捕捉词汇和语义特征，用于虚假新闻检测，并通过分配置信度得分来增强全局可解释性[93]。ConvTextTM[94]采用BERT分词技术[95]进行位置感知分析，提升了局部可解释性，并有效解决了词汇表外（out-of-vocabulary）问题和拼写错误。为了在保持可解释性的同时提升语义区分度和分类准确率，文献[96]提出了一种基于TM的框架，生成稀疏且可解释的自然语言文本命题表示。该方法利用TM子句进行有监督的预训练，构建抽象的逻辑表示，并通过将上下文相关的单词文字聚类后进行“与”操作，形成逻辑规则。随后，他们提出一种基于TM的自编码器，通过构建包含上下文单词的命题逻辑表达式，生成可解释的词嵌入（word embeddings）。Embedding TM[86]（见图9）也采用了类似的策略，使用TM自编码器以自监督方式生成词嵌入。后续研究[97]通过多阶段训练策略进一步提升了可扩展性：第一阶段学习单个词的表示，第二阶段再构建词序列的嵌入。

上下文感知的文本理解：基于TM的词义消歧方法[98]利用上下文线索进行判断，后续扩展为一种完全可解释的词义分类器，适用于聊天机器人应用[99]。上下文感知分类还被应用于缅甸语拼写错误检测[100]，在语音错误方面表现与fastText相当，但在其他类型的错误上仍有不足。

情感分析与语言建模：TM已被应用于情感分析、关系分类以及基于对话的实体识别[101]，并结合频繁项集挖掘技术，实现了全局与局部的可解释性。一种基于统计的TM语言模型[102]能够预测一个不完整单词中下一个最可能的字符。在使用“与”规则逻辑进行文本分类时，文献[103]发现否定推理对虚假相关性更具鲁棒性，并提出一种基于CoTM的自编码器，在NLP任务中表现优于GLoVe。TM自编码器的改进版本[104]通过引入“排除式推理”（Reasoning by Elimination）进一步优化了逻辑表示。关系型Tsetlin机（Relational TM）[105]通过使用一阶逻辑和Herbrand语义，扩展了TM的能力，能够生成基于Horn子句的逻辑程序，用于闭域问答等NLP任务。

优化TM表示与可解释性：将TM与Word2Vec、GloVe等词嵌入技术结合[106]，可提升性能，达到深度神经网络级别的准确率。此外，一种集成方法[107]将全局子句得分引入神经网络的嵌入层，增强了注意力机制的可解释性。为进一步优化TM的表示能力，文献[108]提出对子句中随机放置的文字进行剪枝，减少冗余，提升可解释性。

TM的其他自然语言处理应用：基于Tsetlin机的方法还被应用于使用SentiWordNet的基于方面的情感分析[109]、中文垃圾评论检测[110]、问题分类[111]、法律文本分类[112]、人权侵犯分类[113]、通过网络流量分析进行网络攻击检测[114]，以及多种情感分析和语义关系分析任务[115]。

B. 图像处理

图像是另一种典型的非结构化数据。传统的卷积神经网络（CNN）在提取局部图像特征方面表现出色，而Tsetlin机（TM）则提供了具有可解释性的替代方案。卷积Tsetlin机（Convolutional Tsetlin Machine, CTM）[92]（如图10所示）用具有位置感知能力的子句替代了传统的卷积滤波器，在保持硬件高效性的同时实现了具有竞争力的准确率。与标准TM将子句应用于整幅图像不同，CTM对每个图像块分别进行评估，从而提升了特征学习能力。如表V所示，CTM在准确率上优于标准TM，甚至超过CNN，同时内存占用显著更小——例如，一个3层CNN模型占用8.78MB内存，而CTM仅需2.11MB。

提升TM对高分辨率与噪声图像的处理能力：尽管CTM表现优异，但在处理高分辨率图像时存在一个问题：二值化过程可能导致高频图像特征丢失。为解决此问题，文献[116]提出了采用无损二值化的扩展型CTM，能够保留最多8位的色彩通道信息，相比自适应高斯阈值法显著提升了分类准确率。此外，文献[117]实现了基于TM的彩色图像分类，在无需预训练或数据增强的情况下达到高准确率，表明TM不仅适用于灰度图像，也具备处理彩色图像的扩展能力。

将TM扩展至回归与多模态图像处理：CTM主要用于分类任务，但卷积回归型Tsetlin机（Convolutional RTM）[118]将其扩展至连续值输出，适用于基于回归的图像任务，并在噪声数据集上表现出良好性能。TM专家工具箱（TM Specialists Toolbox）[119]针对彩色图像处理优化了CTM的超参数，进一步拓展了TM在传统灰度设置之外的应用范围。

C. TM的其他应用

除了处理图像和文本数据之外，图灵机（TMs）已被应用于多种现实世界问题。对这些应用的讨论将展示TM算法如何被修改以适应不同应用场景。

强化学习：除了监督学习和半监督学习任务外，TMs也在强化学习（RL）中被探索，作为深度强化学习模型的可解释替代方案。首个基于TM的强化学习框架[121]将值迭代与回归型图灵机（RTM）结合，用于值函数逼近，并在网格世界问题中展示了其有效性。为了缩小与神经网络之间的性能差距，非策略TM强化学习方法[122]引入了改进的反馈机制，结合多步时序差分学习，以提升策略学习效果。此外，基于RTM的质量学习方法（Quality-learning with RTM）[123]提供了一个透明的决策框架，并成功应用于经典控制任务。在Cartpole和Pong等无模型强化学习任务上的评估[124][125]凸显了TM在强化学习中的潜力，但也暴露了其性能局限性，需要进一步研究以增强其在不同环境中的适应能力。

游戏实现：TMs已被用于基于强化学习的游戏策略中，在多种棋盘类游戏中展示了可解释的决策能力。早期研究[126]使用学习自动机（LA）为策略游戏《轴心国与同盟国：修订版》开发自适应人工智能，采用分层LA结构来管理复杂场景，并比较了不同自动机模型的表现。在双人游戏中，跳棋AI[127]利用多类别的随机加权图灵机（RWTM），通过正向增强进行走法预测，达到了72%的准确率，但在面对Kingsrow等高级玩家时表现不佳。TsetlinGO[128]将TM与树搜索结合，用于在9×9棋盘上玩围棋；而基于蒙特卡洛树搜索与TM结合的方法[129]被应用于六边形棋（Hex），并通过一种由TM驱动的逻辑规则提取方法[130]进一步增强了识别获胜棋局位置的能力。对于更复杂的游戏状态，基于协作型图灵机（CoTM）的学习方法[131]被应用于零和博弈游戏《For Sale》，展现出比Hex和围棋更高的可解释性。此外，TM的卷积型和多类别变体[132]被训练用于国际象棋残局，突显了TM在战略游戏中的潜力。

联邦学习：TMs已被适配用于联邦学习（FL），重点在于降低通信开销并提升去中心化环境下的模型效率。FedTM[133]提出了一种两步聚合技术，结合TopK和AverageCW方法，实现基于比特的子句权重聚合，相比传统联邦学习框架[135]显著降低了通信成本（1.37–7.6倍）和内存使用（2.93–7.2倍），同时在非独立同分布（non-IID）数据集上保持了良好的鲁棒性。为应对一次性联邦学习（One-Shot FL）中的延迟和资源限制问题，FedTMOS[120]利用TM的类别自适应特性，在无需服务器端训练的情况下对类别特定权重进行聚类和重新分配。该方法将上传成本降低了2.3倍，服务器延迟减少了75倍，并在准确性上比基于集成的一次性联邦学习方法高出7.22%。针对个性化联邦学习，TPFL[134]引入基于置信度的聚类机制，仅共享类别特定权重，从而改善对non-IID数据的处理能力。该方法在MNIST（98.94%）和Fashion-MNIST（98.52%）上实现了高准确率，同时显著降低了通信开销。

动态环境中的自适应学习：TMs通过接收信号强度指示（RSSI）数据增强了室内定位[136]，减少了对大规模离线指纹采集的依赖。在时间序列分析中，TMs为金融限价订单簿提供了实时的状态学习能力[137]。此外，TMs可用于生成贝叶斯网络图[138]，以进行结构化依赖建模，提升在不确定环境中的决策能力。

优化与决策支持：TMs被用于解决复杂的优化问题，例如0-1背包问题[139]、可解释的推荐系统设计[140]，以及在医疗健康领域的可解释预测，如糖尿病患者的糖化血红蛋白（HbA1c）水平预测[141]。此外，基于TM的模式学习还被用于分析与学生慢性疼痛相关的心理困扰模式[142]。

绿色TM框架（Green TM Framework）[143]通过减少活跃文字（active literals）来优化计算效率，在大型数据集上将内存使用从18.6 GiB降低至仅1 MiB。同时，TMs通过随机游走机制支持在不可靠传感器网络中的数据融合[144]，确保在无需真实标签数据的情况下实现鲁棒决策——尽管目前仍缺乏充分的实际场景验证。

D. 基于TM的软件实现讨论

这些实现的一个显著缺点是其可扩展性不足；在处理大规模数据集或高维输入空间时，训练过程可能变得低效。有时，生成的规则不再易于解释，违背了TM追求可解释性的初衷。这种低效性源于需要手动调整超参数，例如自动机的状态数量和反馈参数，这些参数对性能有显著影响。另一个局限性在于，TM在细粒度任务（如图像分割和目标检测）中的潜力尚未得到充分探索。一项对比分析（图12）表明，TPFL在多个数据集上的表现 consistently（持续地）优于FedTM。FedTMOS在通信效率与性能之间提供了最佳权衡，尤其适用于无服务器环境。在使用TM软件模型进行图像分类的方法中（图13），融合型卷积TM（Coalesced CTM，即ConvCoTM）在MNIST上取得了最高的准确率，加权卷积TM（Weighted CTM）表现相近，而随机加权TM（RWTM）则训练速度最快，且准确率具有竞争力。

基于TM模型的硬件实现将在下一节中讨论。

VI. 图灵机的硬件实现

图灵机（TMs）在硬件效率方面表现出色，因其依赖于二值逻辑运算，能够实现低功耗且可扩展的硬件实现。图14展示了文献中不同TM硬件实现所使用的硬件架构，包括：基于学习自动机（LA）的人工智能硬件[145]、Super-Tsetlin[148]、REDRESS[150]、ConvCoTM[151]、FPGA加速器[153]、推理加速器[154]、强化学习TM[146]、在线TM[147]、REDRESS[150]、IMBUE[152]，以及基于学习自动机的节能硬件设计[149]。一个关键的预处理步骤——二值化（binarization），对TM的性能有显著影响。Rahman等人[155]提出了一种低能耗的布尔编码技术，相比传统的阈值化方法，每数据点的训练能耗最多可降低38.8倍。除了预处理之外，多种硬件改进手段也提升了TM的效率。片上学习（On-chip learning）使模型能够在集成电路内实现动态自适应优化；异步架构通过消除时钟同步提高了计算吞吐量；边缘计算使得TM可在低功耗设备上实现实时部署，非常适合物联网（IoT）和嵌入式系统。新兴方法如超导TM和基于FPGA的加速技术，在保持能效的同时进一步提升了性能极限。这些进展共同增强了TM的可扩展性，接下来将对此进行详细讨论。

A. 片上学习、可扩展性与优化推理

近年来，基于TM和学习自动机（LA）的硬件实现研究重点在于实现高效的片上学习、优化推理过程以及提升可扩展性。片上学习面临的一个挑战是伪随机数生成的瓶颈问题。一种结合中方法（Mid-Square）和外尔函数（Weyl functions）在数字信号处理模块上运行，并辅以基于查找表的XOR-shift方法的技术，成功复现了软件生成的随机性，同时保持了训练准确性[156]。基于FPGA的架构增强了系统的适应性，支持在推理过程中进行离线和实时训练[147]。高效推理加速也得到了探索，特别是在Xilinx Zedboard上针对稀疏多类别TM的实现，通过优化资源利用率实现了更快的计算速度[157]。

并行化与可扩展性：为了扩展基于学习自动机的架构，研究人员采用了并行执行和去同步化策略。通过去同步化子句评估来消除投票瓶颈，显著提升了并行架构的效率[158]。多线程的CPU和GPU实现证明了大规模部署TM的可行性[159]。一种限制子模式中包含文字数量的反馈机制，能够在无需类别求和的情况下加快收敛速度，以轻微的准确率下降为代价显著减少运行时间[160]。

可解释性与可靠性：确保基于硬件的LA实现具备可解释性和可靠性，推动了对底层系统建模的研究。基于SystemC的分析方法被用于评估系统的可靠性和能效，验证了所提出架构的鲁棒性[149][161]。这些进展使得TM在现实世界中的部署更具可行性。

B. 异步架构与非易失性存储器

异步设计通过消除时钟同步并利用非易失性存储器，提升了TM的能效。利用非易失性存储器的异步Tsetlin自动机架构，增强了数据保持能力并降低了功耗[162]。基于TM原理的低功耗推理电路，采用自定时早传播（self-timed early-propagative）设计，优化了面积和能效[163]。先进的异步技术，包括Petri网和双轨信号（dual-rail signaling），为个性化医疗和物联网应用提供了高效的TM解决方案[146]。此外，基于阻变存储器（ReRAM）的存内计算方法，以及准延迟无关电路（quasi-delay-insensitive circuits），能够在器件时序变化条件下支持鲁棒的TM推理[164]。IMBUE架构通过消除非线性的数模转换，提升了推理效率[152]；而ReRAM的多状态特性使得TM架构在准确率和能效方面均优于传统机器学习方法[165]。

基于延迟的异步架构：一种新颖的事件驱动型TM加速框架，用延迟竞争机制取代了传统的算术逻辑单元，显著提升了速度和功耗效率[166]。该方法采用“类别竞争模块”（class race module），将汉明距离计算转换到时间延迟域，并结合异步的“胜者通吃”（Winner-Takes-All）仲裁机制进行分类。该设计采用准延迟无关的四相握手逻辑，实现了高能效、高速的推理性能。

用于TM加速的存内计算：除了数字逻辑优化外，存内计算架构进一步提升了TM的效率。IMPACT架构利用Y-Flash技术实现CoTM推理，克服了冯·诺依曼架构的瓶颈，确保了鲁棒、可解释的实时学习能力[167]。通过将TM自动机映射到Y-Flash存储单元上，该方法实现了可扩展且能效高的边缘学习，在性能上优于传统存储架构[168]。此外，首个采用CMOS兼容的磁隧道结（magnetic tunnel junctions）实现的TM推理加速器，对于将非易失性存储器集成到TM逻辑中具有重要意义[169]。针对FPGA设计优化异步TM的映射，进一步改进了时序约束和电路性能[170]。

与以往主要聚焦于优化数字逻辑或利用新兴存储技术实现存内计算的研究不同，文献[166]提出了一种用于TM加速的异步“胜者通吃”仲裁架构。该架构用一种新颖的延迟竞争逻辑机制取代了传统的算术逻辑。该架构包含两个核心模块：一是“类别竞争模块”，将汉明距离计算映射到时间延迟域；二是异步“胜者通吃”仲裁模块，用于确定最终的分类结果。通过采用准延迟无关的四相握手逻辑，这种事件驱动的设计显著提升了能效和运行速度。

首个采用Y-Flash技术实现CoTM推理的存内计算架构是IMPACT[167]。IMPACT通过使用Y-Flash阵列克服了传统冯·诺依曼架构的局限性，展示了相较于其他机器学习方法更优的准确性、能效和可扩展性。同时，它验证了Y-Flash对工艺变异的鲁棒性，确保了在实时应用中可靠且可解释的推理能力。另一项研究提出了一种基于Y-Flash单元的存内学习自动机（LA）架构，采用180 nm CMOS工艺以增强TM的学习能力[168]。该方法通过将每个TM自动机映射到一个Y-Flash单元上实现可扩展、高能效的边缘学习，其中自动机的状态范围被转换为Y-Flash的电导范围。Mao等人[170]研究了在FPGA上进行异步电路设计时的关键时序约束映射问题。最近，文献[169]提出的存内计算架构报告了首个使用CMOS兼容磁隧道结作为核心逻辑与存储元件的TM推理加速器设计。

C. 边缘计算与能量优化

TM的轻量级特性使其非常适用于边缘计算，尤其是在功耗受限的环境中。基于专用集成电路（ASIC）的TM实现，通过在FPGA原型上采用二值化数据编码和并行逻辑块，相比在树莓派3上运行的软件TM、FPGA加速的TM，以及混合信号神经形态引擎、二值神经网络（BNN）和卷积BNN等神经网络方法，展现出数量级更低的功耗以及更快的训练/推理速度[145]，[171]–[173]。从神经网络转向基于学习自动机（LA）的算法，也在边缘AI应用中表现出显著的速度提升[174]。

面向能效的压缩与优化：为提升TM在边缘设备部署中的效率，研究重点在于降低计算开销的同时保持准确性。REDRESS 提供了无损的图灵自动机（TA）压缩和高能效训练方法，优化了低功耗AI的内存使用[150]；而 MATADOR 提供了一种从布尔逻辑到硅芯片的编译工具，用于在边缘硬件上实现优化的TM推理[175]。在电池受限的环境中，基于纳米磁逻辑的TM架构相比传统CMOS设计可大幅降低能耗[176]。自适应压缩技术则根据可用能量动态调整计算复杂度，确保在无电池传感器中也能高效运行[177]。

D. 超导与面向物联网优化的TM实现

近年来，TM的发展探索了专用硬件以进一步优化性能与效率。Super-Tsetlin 利用超导快速单磁通量子（rapid single-flux quantum）技术，实现了超低功耗（0.5 mW）和超高速处理（10 GHz），充分利用了超导电路的天然并行性[148]。在物联网（IoT）应用中，基于TM的异常检测系统无需浮点运算即可实现高效的入侵检测，能够在资源受限的环境中实现实时预测[178]，[179]。然而，扩展到大规模网络仍是一个挑战。

TM在车载控制器局域网（CAN）总线的入侵检测中也表现出卓越的效率，其准确率与长短期记忆网络（LSTM）和深度卷积神经网络（Deep-CNN）相当，但在树莓派4B上运行速度超过三倍，功耗仅为1瓦[180]。类似地，在分布式拒绝服务（DDoS）攻击检测中，卷积TM（CTM）在保持与基于深度学习的入侵检测系统相当的准确率的同时，内存消耗更低[181]。在音频处理方面，基于TM的低功耗关键词唤醒技术在保持准确率的同时降低了系统复杂性和能耗，但在噪声环境下性能有所下降[182]。

E. 基于FPGA和CMOS的TM加速器

在FPGA上加速TM的努力已催生了高度高效的实现方案。CTM加速器在2D模式分类任务中实现了近乎完美的准确率（99.99%），同时能耗极低（每张图像仅0.6 µJ）[154]，[183]。首个支持完整设备端训练的卷积CoTM（Convolutional CoTM）FPGA实现，通过在各类别之间共享子句，有效缓解了片上内存需求。该设计采用并行架构结合块RAM（Block RAM）实现高效的TA存储，并引入了MaxWeight超参数，通过蓄水池采样（reservoir sampling）优化随机图像块的选择[153]。

进一步的进展包括ConvCoTM——一款全数字65nm CMOS工艺的TM加速器，其分类速度达到每秒60.3万张MNIST图像，每张图像能耗仅为8.6 nJ，准确率为97.42%，相比传统方法能效提升了2.3亿倍[151]。为了简化CoTM在硬件上的推理流程，现在可直接将模型导出为超高速集成电路硬件描述语言（VHDL）[184]。

F. 图灵机硬件实现的讨论

并不存在一种在所有任务上都表现最优的通用TM变体或硬件，因为在频率、延迟、速度、训练时间、准确率、面积、能耗和功耗等参数之间存在各种权衡。本节通过实例讨论这些常见的权衡关系，并利用汇总数据和图表分析对不同TM实现进行比较。

专用硬件的适应性有限：一些TM硬件实现在特定参数上表现出色，但缺乏任务适应能力。例如，Super-Tsetlin 或超导TM实现了最高的工作频率、超低功耗和快速处理能力，但尚未在MNIST等标准数据集上进行测试，限制了其实际应用价值。此外，其对专用硬件的依赖也进一步限制了可访问性。像CTM加速器这样的基于FPGA的解决方案专为图像分类优化，但由于其设计主要针对MNIST等简单数据集，尽管FPGA具有可重编程性，其通用性仍然受限。

ASIC 与 FPGA 的对比：在内存效率和可扩展性方面，MATADOR 是一种基于ASIC的TM实现，它为片上系统（SoC）架构自动完成TM设计，在保持竞争力准确率的同时，处理速度最高提升13.4倍，资源效率提高7倍，优于最先进的量化神经网络。这使其非常适合内存受限的边缘AI应用。ASIC实现通常比FPGA设计更节能，但灵活性较差。此外，MATADOR 主要专注于推理，而非端到端训练。相比之下，多层TM等多层架构增强了分层特征学习能力，但存在层数增长失控的问题，容易导致过拟合并增加内存需求。

功耗权衡：TM在可解释性和鲁棒性方面持续优于传统机器学习模型，同时能耗极低。节能AI硬件（Energy-Frugal AI Hardware）[149]在乳腺癌数据集上以每数据点仅68.8皮焦（pJ）的能耗实现了97%的准确率，非常适合电池受限的环境。相比之下，基于FPGA的实现功耗显著更高。例如，用于在线学习的FPGA架构[147]在IRIS数据集上功耗达1.725瓦，其中板载微控制器占1.4瓦。而基于学习自动机的AI硬件[145]在二值化IRIS数据集上仅消耗1.85毫瓦。尽管功耗更高，该FPGA在线学习实现的IRIS准确率仅为79.5%，原因是缺乏针对数据集的充分优化。类似地，基于TM的FPGA加速器[153]在推理时功耗为1.8瓦，训练时为2.0瓦；而另一款推理加速器[154]在推理时功耗为2.709瓦，训练时为2.529瓦。

异步TM提升了能效但可扩展性不足：异步TM架构通过消除全局时钟同步，降低动态功耗，并支持事件驱动计算，非常适合物联网（IoT）和边缘AI应用[146]。Petri网和双轨信号等技术可构建自定时电路，动态适应输入变化。集成ReRAM的异步TM支持非易失性存储和存内计算，绕过数模转换瓶颈，同时对时序变化具有强鲁棒性[162][164]。然而，由于并发子句评估和去中心化投票机制的复杂性，其可扩展性仍面临挑战[158]。尽管大规模并行架构在GPU上对子句数量≤7,000的情况能高效扩展，但同步开销和过时数据处理问题会阻碍大规模性能提升。此外，由于缺乏全局时钟，调试较为困难，需要高级时序分析工具。近期在容变TA单元和混合同步-异步接口方面的进展已缓解部分问题，但要实现广泛采用，仍需标准化的设计方法。未来工作将聚焦于自动化FPGA综合工具链[170]，以及TM算法与非冯·诺依曼架构的协同设计[164]。

其他分析：TM中仅包含文字（include-only literal）的设计[157]可优化推理性能，但对于需要动态训练或更复杂子句结构的多样化应用缺乏可扩展性。绿色TM（Green TM）通过减少内存使用，适用于资源占用低的边缘计算场景。然而，其优化集中在框架层面，未直接解决硬件特定挑战，如能效或推理速度。

实验观察：图像分类仍是TM在软件和硬件中最广泛实现的应用。图16展示了硬件实现中每周期能耗（EPC）与准确率的趋势，其功耗分别为：1.15毫瓦（卷积CoTM加速器）、1.8瓦（推理）、2.0瓦（训练）（基于FPGA的图像分类加速器）、2.522瓦（空闲与推理）（卷积TM训练与推理加速器）。文献[154]中的实现在推理速度、准确率和能效之间达到了最佳平衡。

图15比较了不同TM硬件模型的准确率与工作频率，包括：基于学习自动机的AI硬件[145]、超导TM[148]、REDRESS[150]、卷积CoTM加速器[151]、支持设备端训练的FPGA加速器[153]、以及2D模式分类加速器[154]。更高的工作频率并不总能提升准确率——Super-Tsetlin尽管运行在10 GHz，但表现不佳。高效能的基于FPGA的TM和ConvCoTM在中等频率下实现了最优准确率，适合实时应用。低频的REDRESS模型在不同数据集上保持稳定，但在复杂特征提取（如CIFAR）任务中表现较差。表VIII总结了在能效、可扩展性和技术选择方面的权衡，强调TM硬件的成功取决于通过架构优化在准确率与效率之间取得平衡。

VII. 未来研究方向

图灵机（TM）的研究在未来有许多可拓展的方向。我们在此讨论一些可能的研究思路：

1）将TM扩展至高级深度学习领域：TM可以进一步拓展至更先进的领域，例如深度变分自编码器（VAE）[185]，从而提升其生成模型能力。多层卷积TM（Multi-layer CTM）可模仿基于深度卷积神经网络（CNN）的架构（如U-Net或ResNet），用于图像分割任务。为此，CTM需要引入跳跃连接（skip connections）和分层特征提取机制。然而，与传统神经网络不同，大多数TM变体在高效学习分层特征方面仍存在困难。因此，未来的研究应探索将TM与深度学习范式相结合的新方法，以增强其表示学习能力。

2）特定领域的局限性：TM和CTM在特定领域任务中表现出局限性，例如在基因组分析中用于识别蛋白质描述时，其性能不如传统机器学习模型[186]。一个关键问题在于TM难以在高度多样化的数据集之间实现良好的泛化。主要挑战在于如何使基于命题逻辑的TM算法提取出复杂特征。未来的研究应聚焦于扩展TM的学习范式，以融合多样化的特征表示方式，并提升其在不同领域中的适应能力。

3）无监督嵌入学习：尽管已有文献研究使用TM进行无监督词嵌入生成，但将其扩展到句子或文档嵌入仍面临显著挑战，原因在于需要更庞大的词汇表以及文本数据的稀疏性。然而，文档的稀疏特性可被稀疏图灵机（STM）有效利用，因其能更高效地处理高维数据。未来研究可探索使用STM在大规模文本语料库中实现可扩展且高效的无监督学习。对于图像，可利用TM的连续特征表示能力实现嵌入生成。在文本和图像处理任务中引入注意力机制，有助于提升其在结构化预测问题中的适用性。然而，在二值化的TM框架内实现自注意力机制仍是一个开放性难题。另一种思路是探索混合方法，即将基于TM的嵌入与传统自然语言处理技术（如Transformer和RNN）相结合，或将其用于基于内容的推荐系统以及机器翻译等序列到序列学习任务。

4）计算效率：在大规模数据集上，训练TM的计算开销远高于计算简单的统计指标（如词频-逆文档频率TF-IDF）。由于TM依赖大量子句和基于自动机的学习机制，其训练复杂度在大规模应用中可能过高。为缓解这一问题，应研究稀疏性感知的训练技术及索引机制，以优化内存使用和计算时间。此外，采用GPU或多核处理器的并行化策略，或使用专用硬件加速器，可显著提升TM的训练效率。

5）尚未充分探索的TM变体：未来研究应探索在各类应用中使用三反馈（three-feedback）和三动作（three-action）自动机，包括在芯片上实现以实现节能处理。另一方面，利用高维TM表示与超布尔代数（hyper Boolean algebra）[83]相结合，可使TM模型处理更复杂的数据结构，如图结构数据和多模态数据。这有望推动基于TM的生成对抗网络（GANs）或变分自编码器（VAEs）的发展，例如使用多输出CoTM实现。此外，超布尔代数的应用可使TM内部的规则表示更加表达丰富且紧凑。

6）TM硬件实现的推进：尽管TM算法发展迅速，但许多软件实现尚未转化为硬件实现。目前涉及TM的图像处理实验大多在MNIST系列数据集上进行，这些数据集虽适用于基准测试，但未能充分反映现实世界中的挑战。未来研究应聚焦于在更复杂的图像数据集上实现TM模型，并开发专用硬件加速器（如超导TM），以提升计算效率。若能填补这些研究空白，TM有望成为现代深度学习架构的有力竞争者。

VIII. 结论

在过去的七年中，图灵机（TMs）取得了显著的发展，其应用已从最初的监督分类任务，拓展到半监督学习、联邦学习、图像处理和自然语言处理等领域。TM凭借其独特的可解释性学习能力、高能效性以及基于布尔逻辑的推理机制，非常适用于物联网（IoT）设备和边缘计算场景。近年来，硬件加速技术的进步，包括FPGA和ASIC的实现，进一步提升了TM的可扩展性和计算效率。然而，在面向大规模数据集优化TM架构、提升训练稳定性，以及在功耗与灵活性之间实现平衡等方面，仍存在挑战。未来的研究应聚焦于混合模型、先进的并行化技术，以及与深度学习框架的无缝集成。

原文链接：https://www.techrxiv.org/users/925454/articles/1297260-a-360-degree-review-of-tsetlin-machines-concepts-applications-analysis-and-the-future