沙巴捕鱼博彩网站怎么套利

A Survey of Chain of Thought Reasoning: Advances, Frontiers and Future

想维链推理的综述：进展、前沿和改日

摘要：想维链推理，四肢东说念主类智能的基本领悟历程，在东说念主工智能和天然谈话处理领域引起了极大的良善。但是，这一领域仍然坚苦全面的综述。为此，咱们迈出了第一步，全面而平常地呈现了这一说合领域的深入窥探。咱们使用X-of-Thought（想维X）来平常地指代想维链推理。具体来说，咱们证据方法的分类系统地组织了刻下的说合，包括XoT构建、XoT结构变体和增强的XoT。此外，咱们描摹了XoT在前沿应用中的使用，涵盖了操办、器具使用和蒸馏。此外，咱们盘考了挑战并探讨了一些改日的发展标的，包括诚挚度、多模态和表面。咱们但愿这份综述大概成为寻求在想维链推理领域转换的说合者的可贵资源。

1 序文

预进修谈话模子（PLMs）大概自动从无标签文本中学习通用暗示，并通过不才游任务上的微调结束出色的性能（Devlin等东说念主，2019年；Raffel等东说念主，2020年；Radford和Narasimhan，2018年）。最近，扩大谈话模子的限度显贵提高了性能，并带来了很多惊喜，举例突现智商（Wei等东说念主，2022a；Schaeffer等东说念主，2023年）。因此，天然谈话处理的范式正从预进修加微调转换为预进修加凹凸体裁习。但是，到现在为止，大限度谈话模子（LLMs）在复杂推理任务上，如数学推理（Cobbe等东说念主，2021年；Patel等东说念主，2021年）、知识推理（Talmor等东说念主，2021年；Mihaylov等东说念主，2018年）等，仍有特地大的改进空间。

为了诓骗LLMs处治复杂推理任务，Wei等东说念主（2022b）通过缓缓推理历程彭胀了凹凸体裁习，起先引入了想维链（CoT）指示的主见。Kojima等东说念主（2022年）发现，浅陋地在指示中添加一个魔法短语“让咱们一步步来”就能使LLMs在莫得任何东说念主类注释的情况下施行零样本想维链推理。这些说合隆起了想维链在增强模子复杂推聪敏商以及提高其推理和操办智商方面的迫切性。

随后，对于X-of-thought（XoT）的大批使命像雨后的蘑菇一样在NLP社区赶紧涌现，举例自动XoT构建（Kojima等东说念主，2022年；Zhang等东说念主，2023f；Xu等东说念主，2023年），XoT结构变体（Chen等东说念主，2022a；Ning等东说念主，2023年；Lei等东说念主，2023a；Yao等东说念主，2023b）等。请注重，为了与原始的CoT区分开来，咱们使用XoT来平常地指代CoT，这是一个集体术语，用于指代缓缓推理方法的使用。

但是，这些方法和数据集尚未经过系统性的追思和分析。为了填补这一空缺，咱们暴虐这项使命来进行对XoT眷属的全面和细心分析。尽管也曾有一些综述盘考了想维链，但它们仅限于特定方面，举例使用指示的LLM推理（Qiao等东说念主，2023年）和想维链指示政策（Yu等东说念主，2023c）。比较之下，咱们的综述不仅提供了对他们也曾涵盖的主题的更全面和全面的盘考，还包括了额外的主题和盘考，如XoT构建、XoT结构变体和前沿应用等。具体来说，在本文中，咱们起先先容了有关配景和初步知识（第2节）。此外，咱们从多个角度仔细分类了XoT系列使命，并完成了深入分析（第4节），包括XoT构建方法（4.1节）、XoT结构变体（4.2节）和XoT增强方法（4.3节）。然后，咱们提供了XoT在前沿领域的本质应用（第5节）。为了激勉XoT后续使命的灵感，咱们提供了对这一领域改日说合潜在路线的视力（第6节）。终末，咱们比较并盘考了现存的方法（第7节）。

皇冠客服飞机：@seo3687

欧博会员入口

图片

2 配景和初步

皇冠客服

2.1 配景

皇冠hg86a

连年来，跟着贪图智商的连续彭胀，大限度谈话模子如棋布星罗般涌现（Brown等东说念主，2020年；OpenAI，2023年；Touvron等东说念主，2023a；Scao等东说念主，2022年；Touvron等东说念主，2023b；Zhao等东说念主，2023b），跟着模子限度的握续增长，很多新智商也曾出现，举例凹凸体裁习和想维链推理（Brown等东说念主，2020年；Wei等东说念主，2022b，a；Schaeffer等东说念主，2023年）。

Brown等东说念主（2020年）发现，大限度谈话模子具有出色的凹凸体裁习（ICL）智商。ICL将输入-输出演示融入到指示文本中。通过ICL，现成的LLMs不错在不进行额外微调的情况下使用，同期结束可比的性能。但是，这种端到端的方法在面对复杂推理任务时时时会发扬欠安。

Wei等东说念主（2022b）发现，通过在演示中添加缓缓推理历程，不错提高LLMs的推聪敏商，这被称为想维链指示。CoT指示使模子大概更精准地认识问题的复杂性和推理历程。此外，模子生成了一系列推理神色，这为咱们提供了对模子领悟历程的透明视图，进一步提高了可解释性。

2.2 基础

在本节中，咱们先容了使用LLMs进行想维链推理的初步知识，并援用了（Qiao等东说念主，2023年）中的公式界说。假定有一个问题Q，一个指示T和一个概率谈话模子PLM。模子将问题和指示四肢输入，给出旨趣R和谜底A。咱们起先商酌凹凸文场景，其中演示不包含推理链。咱们需要最大化谜底A的可能性，如公式(1,2)所示。

图片

在想维链推理场景中，演示包含推理历程，咱们需要最大化谜底A和旨趣R的可能性，如公式(3,4,5,6)所示。

图片

某位知名体育明星近期曝皇冠上下一大笔赌注，粉丝们大为震惊。

3 基准测试

3.1 数学推理

数学推理闲居用来斟酌模子的推聪敏商。早期的基准测试包含浅陋的算术运算（Hosseini等东说念主，2014年；Koncel-Kedziorski等东说念主，2015年；Roy和Roth，2015年；Koncel-Kedziorski等东说念主，2016年）。Ling等东说念主（2017年）以天然谈话样式秀丽了推理历程，而Amini等东说念主（2019年）在AQUA的基础上，通过以圭表样式秀丽推理历程进行了构建。自后的基准测试（Miao等东说念主，2020年；Patel等东说念主，2021年；Cobbe等东说念主，2021年；Gao等东说念主，2023年）包含了更复杂和种种化的问题。（Zhu等东说念主，2021年；Chen等东说念主，2021年，2022b年）需要基于表格内容进行推理。还有一些通用基准测试（Hendrycks等东说念主，2021年；Mishra等东说念主，2022a,b年）和阅读认识样式的基准测试（Dua等东说念主，2019年；Chen等东说念主，2023年）。最近，（Yu等东说念主，2021a年）通过使用头绪推理和知识，赋予了预进修模子数学推理的智商。

图片

3.2 知识推理

知识推理是基于闲居在日常生计宇宙中精深领会和精深感知的知识进行推断、判断和认识的历程。如何获取和认识知识知识是模子面对知识推理时靠近的主要贫乏。很多基准测试和任务都麇集在知识认识上（Talmor等东说念主，2019年，2021年；Bhakthavatsalam等东说念主，2021年；Mihaylov等东说念主，2018年；Geva等东说念主，2021年；Huang等东说念主，2019年；Bisk等东说念主，2020年），事件时辰知识推理（Rashkin等东说念主，2018年；Zhou等东说念主，2019年）和知识考证（Wang等东说念主，2019年）。

3.3 秀丽推理

这里的秀丽推理专指模拟一些对东说念主类来说浅陋但对LLMs来说具有挑战性的浅陋操作。终末一个字母串联、抛硬币和回转列表（Wei等东说念主，2022b年）是最常用的秀丽推理任务。此外，互助基准测试BigBench（Srivastava等东说念主，2022年）和BigBench-Hard（Suzgun等东说念主，2023年）也包含了几个秀丽推理数据集，如景色追踪和对象计数。

3.4 逻辑推理

逻辑推理分为演绎推理、归纳推理和溯因推理（Yu等东说念主，2023a年）。演绎推理从一般前提中推导出论断（Liu等东说念主，2020年；Yu等东说念主，2020年；Tafjord等东说念主，2021年；Han等东说念主，2022年）。归纳推理从特殊案例中推导出一般论断（Yang等东说念主，2022年）。溯因推理为不雅察到的气候提供合理的解释（Saparov和He，2023年）。

3.5 多模态推理

在现实宇宙中，推理还触及除文本以外的其他模态信息，其中视觉模态最为精深。为此，暴虐了很多视觉多模态推理的基准测试（Zellers等东说念主，2019年；Park等东说念主，2020年；Dong等东说念主，2022年；Lu等东说念主，2022年），其中ScienceQA（Lu等东说念主，2022年）注释了推理历程，是使用最平常的视觉多模态推理基准测试。视频多模态推理（Lei等东说念主，2020年；Yi等东说念主，2020年；Wu等东说念主，2021年；Xiao等东说念主，2021年；Li等东说念主，2022a年；Gupta和Gupta，2022年）更具挑战性，因为它与视觉多模态推理比较引入了额外的时辰信息。

www.crownpokersitehomehub.com

3.6 目的

准确率 准确率用于评估模子在分类任务上的智商，闲居用于多项聘用（Ling等东说念主，2017年；Mihaylov等东说念主，2018年；Liu等东说念主，2020年；Lu等东说念主，2022年）和短长（Talmor等东说念主，2021年；Geva等东说念主，2021年；Han等东说念主，2022年）任务。

图片

EM和F1 EM和F1是用于评估解放样式（Mishra等东说念主，2022a年；Wang等东说念主，2019年；Yi等东说念主，2020年）和跨度索要（Dua等东说念主，2019年；Zhu等东说念主，2021年；Mishra等东说念主，2022b年）任务的目的。两者都在词符级别上贪图。

图片

其中P和R分别代表精准度和调回率，EM贪图预测和谜底充足交流的比例。

4 方法

在本节中，咱们通过三种不同的分类探讨X-of-thought（想维X）推理：X-of-thought的构建（4.1节）、X-of-thought的结构变体（4.2节）以及X-of-thought的增强方法（4.3节）。

4.1 构建方法

皇冠足球信用盘源码

经过深入分析，咱们将X-of-thought的构建分为三类：1）手动XoT，2）自动XoT，3）半自动XoT，具体描摹如下。

4.1.1 手动XoT

尽管大型谈话模子通过指示进行小数样本的凹凸体裁习，但在推理任务中仍有限度。为了探索大型谈话模子的潜在推聪敏商，一种圭表方法是在示例中提供不相同式的想考。

Wei等东说念主（2022b）初次暴虐想维链指示（Few-shot CoT），通过手动提供天然谈话样式的旨趣来演示。为了进一步确保推理历程中的细则性并减少推理旅途和谜底之间的不一致性，PAL（Gao等东说念主，2023）、PoT（Chen等东说念主，2022a）和NLEP（Zhang等东说念主，2023e）诓骗编程谈话四肢注释旨趣，将问题处治转机为可施行的Python圭表。同期，为了同期诓骗天然谈话和编程谈话的上风并提高推理输出的置信度，MathPrompter（Imani等东说念主，2023）使用零样本想维链指示生成多个代数抒发式或Python函数，这些不错相互考证并提高罢了的可靠性。此外，由于示例中的推理复杂性，如包含更多推理神色的链，会导致性能普及，Fu等东说念主（2023a）暴虐了基于复杂度的指示，其中在高复杂度旨趣之间进行投票以得出最终谜底。

手动构建的X-of-thought方法通过向示例中添加不同类型的缓缓中间推理历程来彭胀凹凸体裁习。它们允许LLMs效法并生成推理旅途。尽管手动XoT方法为东说念主类认识和复杂任务（如数学推理、知识推理、秀丽推理等）提供了更大的可解释性和可靠性，但手动注释旨趣需要显贵的老本，并存在诸如示范聘用艰苦和任务泛化等污点。具体来说，不同的任务需要不相同式的示范。因此，其他使命尝试自动构建推理旅途，如在§4.1.2中盘考的。

4.1.2 自动XoT

想维链指示（Wei等东说念主，2022b）通过在小数样本成就中使用特定任务示例激勉了LLMs的复杂推聪敏商，这限度了可彭胀性和泛化智商。为了减少手工制作的小数样本示例的老本，Kojima等东说念主（2022）暴虐了零样本CoT，通过在问题后引入一个魔法短语“让咱们一步步来”，使LLMs大概以零样本的样式生成推理链。但是，零样本CoT存在推理旅途质地差、虚伪多的问题。由于示范的种种性在推理链生成中起着至关迫切的作用，Auto-CoT（Zhang等东说念主，2023f）通过聚类和代表性示例聘用自动生成示范，提高了种种性并一致性地匹配或逾越了Few-shot CoT的性能。COSP（Wan等东说念主，2023）引入了问题的输出熵来接济示范聘用。Xu等东说念主（2023）暴虐了Reprompting，通过迭代使用Gibbs采样来找到灵验的CoT指示。同期，推理链中的一些虚伪来自遗漏神色的虚伪，Wang等东说念主（2023f）将零样本CoT彭胀到磋磨和处治（PS）指示，通过联想一个磋磨将通盘任务区别为更小的子任务，并证据磋磨施行子任务，带有更细心的指示。LogiCoT（Zhao等东说念主，2023c）使用秀丽逻辑来考证零样本推理历程，从而减少推理中的虚伪。此外，PoT（Chen等东说念主，2022a）也探索了谈话模子，如Codex，通过添加“让咱们一步步编写Python圭表...”，在零样本成就中生成可施行的Python圭表来处治数学问题，这减少了中间推理神色中的虚伪。一些使命引入了代理来处治推理问题。举例，Agent Instruct（Crispino等东说念主，2023a）诓骗代理生成与任务有关的、有信息量的指示，带领LLMs施行零样本推理。

与手动XoT不同，自动XoT使用零样本指示工程或采样，是可彭胀的，况兼不错在莫得东说念主类干与的情况下在领域之间泛化。但是，由于坚苦东说念主类对王人，自动生成的想维链靠近质地差、幻觉和事实不一致等挑战。因此，以半自动样式构建XoT是必要的，这在§4.1.3中先容。

4.1.3 半自动XoT

半自动XoT方法趋附了手动和自动构建方法的优点。Shao等东说念主（2023）暴虐了合成指示，诓骗少数东说念主工注释的示例来指示模子通过轮流的前向-后向历程生成更多示例，并聘用灵验的示范以激勉更好的推理，缓解了AutoCoT中坚苦东说念主类对王人的问题。尽管之前的使命处治了手动注释的问题，示范聘用也不错显贵影响性能。Automate-CoT（Shum等东说念主，2023）经受强化学习与方差裁汰的政策梯度政策来推断黑盒谈话模子中每个示例的迫切性，激勉更好的示范聘用。相同，Lu等东说念主（2023b）暴虐了PromptPG，它诓骗政策梯度来学习在表格推理中聘用示范。Ye和Durrett（2023）率先使用两个代理目的来评估每个示例，然后在示例中搜索以找到在银标征战麇集产生最好性能的示范。同期，Pitis等东说念主（2023）暴虐了Boosted Prompting，这是一种指示集成方法来提高性能，它在碰到刻下示范难以处理的问题时，通过迭代彭胀示例。Zou等东说念主（2023）引入了Meta-CoT，它证据问题类别自动聘用示范，摒除了特定任务指示联想的需求。

半自动XoT方法减少了手动秀丽的使命量，同期引入了东说念主类对王人信号和示范聘用政策，增强了推理的智商和巩固性。此外，它还结束了老本效益高的领域泛化。但是，示范聘用问题尚未充足处治，需要更多的起劲和说合。

4.2 XoT结构变体

最原始的想维链是一个链式结构，用天然谈话描摹中间推理神色。在本节中，咱们先容修改原始链式结构的结构变体，包括链式结构变体、树状结构变体和图状结构变体。

图片

图2展示了推理的发展历程，从径直的输入/输出，到链式结构，再到树和图结构。

链式结构 PAL（Gao等东说念主，2023年）和 PoT（Chen等东说念主，2022a）引入编程谈话来描摹推理历程，从而将推理问题转机为可施行圭表的结束，以获取最终谜底。由于圭表施行是细则性的况兼大概准确施行算术贪图，这种方法在数学推理中发扬出色。此外，秀丽序列是另一种想维暗示类型。秀丽链（Chain-of-Symbol，Hu等东说念主，2023a）在操办时间用简化的秀丽链暗示暗示复杂环境，这减少了模拟环境的复杂性。链式结构变体如图2(c,d)所示。想维算法（Algorithm of Thought，Sel等东说念主，2023）将算法智商注入模子，通过添加基于算法的示例使模子的推理愈加逻辑化。它莫得树搜索（Long，2023；Yao等东说念主，2023b）的雄壮搜索空间，精真金不怕火了贪图资源并取得了出色的性能。

树状结构 原始的链式结构内容上限度了探索范围。通过趋附树状结构和树搜索算法，模子获取了在推理历程中灵验探索和回溯的智商（Long，2023；Yao等东说念主，2023b），如图2(e)所示。趋附对中间想维的自我评估，模子不错结束全局最优解。ToT（想维链）的推理历程触及不细则性，这可能导致级联虚伪。TouT（Mo和Xin，2023）在推理中引入了蒙特卡洛dropout，商酌了不细则性。Yu等东说念主（2023b）深入说合了雷同的问题，诓骗它们的处治决策普及LLMs复杂的推聪敏商。这些雷同的问题呈现出树状结构，最终蓄积处治主要问题。但是，刻下的想维树在聘用任务上有很大的局限性，需要为每个任务联想特定的指示，这进犯了它的平常应用。SoT（Ning等东说念主，2023）是树状结构的另一种变体，它将问题领会为不错并行处理并同期处治的子问题，以加速推理速率。但是，它的实用性仅限于可并行领会的问题，不适用于复杂推理任务。

图状结构 与树比较，图引入了轮回和环，带来了更复杂的拓扑干系，并允许建模更复杂的推理，如图2(f)所示。GoT（Besta等东说念主，2023；Lei等东说念主，2023a）将中间想维视为图中的节点，趋附探索和回溯操作，并与想维树比较额外引入了团聚和细化操作。额外的操作，团聚和细化，在复杂任务中激勉了更好的推理。但是，它靠近着与想维树交流的逆境，即任务限度和较差的泛化智商。此外，它的推理老本增多了。与明确构建想维图的GoT不同，ResPrompt（Jiang等东说念主，2023a）在指示文本中引入了想维之间的残差鸠合，允许不同神色的推理相互交互。

跟着模子从线性链过渡到头绪化的树和复杂的图，想维的相互作用渐渐变得愈加复杂，从而缓缓增强了处治复杂问题的智商。但是，跟着拓扑复杂性的增多，有关方法对任务聘用施加了更多限度，导致它们的泛化智商显贵裁汰，使其应用变得艰苦。将基于复杂拓扑结构的方法彭胀到通用领域是改日说合靠近的一个主要挑战。

4.3 XoT增强方法

在本节中，咱们将先容XoT增强方法。系数，咱们将提供五个类别的概述，分别是添加考证和细化（4.3.1节）、问题领会（4.3.2节）、诓骗外部知识（4.3.3节）、投票和排行（4.3.4节）以及提高成果（4.3.5节）。

4.3.1 考证和改进

想维链推理时时倾向于产生幻觉，产生虚伪的推理神色。中间推理神色中的虚伪又可能触发一系列虚伪。引入考证以获取反应，随后证据这些反应细化推理历程，不错灵验地减弱这种气候，雷同于东说念主类反想的历程。图3描摹了考证和细化的概述。

图片

图3：考证和改进减少推理中的级联虚伪。

VerifyCoT（Ling等东说念主，2023年）联想了一种天然圭表，这是一种演绎推理样式，允许模子产生准确的推理神色，每个后续神色严格基于前一步。DIVERSE（Li等东说念主，2022c）使用投票机制来销毁虚伪谜底，然后对每个推理神色进行细粒度的考证。SCREWS（Shridhar等东说念主，2023）觉得后修改的罢了并不一定优于原始罢了，因此它引入了一个聘用模块来在原始和修改之间聘用更好的罢了。为了便于知识密集型任务，Verify-and-Edit（Zhao等东说念主，2023a）引入外部知识来从头推理不细则的示例，减少推理中的事实虚伪。一些说合起劲尝试挖掘模子的里面知识。为了处治事实虚伪，一些说合尝试挖掘LLMs的内在知识。他们在回答问题之前从模子中获取知识（Dhuliawala等东说念主，2023年；Zheng等东说念主，2023年）。Ji等东说念主（2023年）进一步考证了内在知识的正确性，Liu等东说念主（2023b）通过强化学习提高了内在知识获取的准确性。

不一致性是推理中的另一个主要挑战，Dua等东说念主（2022年）迭代地使用先前的推理罢了四肢指示，直到模子给出一致的谜底。Paul等东说念主（2023年）进修一个品评模子来提供对于推理历程的结构化反应。Self-Refine（Madaan等东说念主，2023）施行迭代自我反应和细化以减弱推理中的虚伪。与Self-Refine比较，Reflexion（Shinn等东说念主，2023）引入了强化学习进行反想，这也带来了决策智商。同期，一些使命引入了反向推理（Yu等东说念主，2023a）进行考证。

菠菜 平台体育

RCoT（Xue等东说念主，2023）证据推理链重构问题，其与原始问题的不一致性清楚了推理历程中的虚伪。FOBAR（Jiang等东说念主，2023b）和Self Verification（Weng等东说念主，2022）通过从谜底中推断问题中的条目进行考证。FOBAR推断问题中的变量，而Self Verification推断问题中的条目。但是，Huang等东说念主（2023a）发现LLMs在莫得外部反应的情况下难以自我矫正，甚而可能导致性能下跌。

LLM推理是一个无监督历程，在中间推理神色中来自反应信号的带领在提高推理中起着至关迫切的作用。来自反应信号的带领不错灵验地减少推理中的幻觉气候。在获取符合的反应并证据该反应进行准确矫正方面仍有很大的说合空间。

4.3.2 问题领会

X-of-thought推理的内容在于其缓缓处治问题。但是，原始的想维链推理方法并莫得明确地剥离出缓缓推理历程，仍然使用一次性生成。在本节中，咱们将盘考问题领会方法，该方法明确地缓缓处治问题。概述如图4所示。

图片

图 4：问题领会通过缓缓处治浅陋的子问题来处治复杂问题。

Wang等东说念主（2022a）迭代地从模子中获取知识，在多跳QA中取得进展。Zhou等东说念主（2023b）暴虐了Least-to-Most指示，皇冠体育官网率先以自顶向下的样式将问题领会为子问题，随后，它一次处治一个子问题，并诓骗它们的处治决策来促进后续子问题。Successive Prompting（Dua等东说念主，2022）遴选了与Least-to-Most指示雷同的方法，不同之处在于它经受了交错的子问题和谜底的领会，而不是两阶段领会。上述方法莫得为各式子问题制定定制处治决策。Decomposed Prompting（Khot等东说念主，2023）联想了一个模块化分享库，每个库有意针对一类子问题，不错为不同类别的子问题定制更灵验的处治决策。除了一般任务，一些使命专注于表格推理中的问题领会。BINDER（Cheng等东说念主，2023）以神经秀丽样式将推理映射到圭表，并通过圭表施行器（如Python或SQL）获取最终谜底。Ye等东说念主（2023）引入了DATER，它将大型表格领会为较小的表格，将复杂问题领会为浅陋问题。前者减少了不有关信息，后者减少了推理的复杂性。

径直回恢复杂问题可能是具有挑战性的。通过将问题领会为浅陋的子问题并缓缓处治它们，难度裁汰了。此外，每个子问题都不错追念到特定的推理神色，使推理历程愈加透明和可解释。刻下的使命大多使用自顶向下的领会政策，而基于反向推理的自底朝上领会政策仍有待在改日的使命中探索。

4.3.3 诓骗外部知识

模子内参数化的知识是有限的且过期的。因此，在面对知识密集型任务时，不时发闯事实虚伪。引入外部知识不错减弱这种气候，如图5所示。

图片

 图5：引入外部知识不错减少推理中的事实虚伪。

Lu等东说念主（2023a）在指示中引入多谈话辞书以增强机器翻译。Li等东说念主（2023d）暴虐了知识链（CoK-Li），通过查询生成器从知识库中获取结构化知识以施行知识指引推理。Wang等东说念主（2023b）（CoK-Wang）也从知识库中检索结构化知识。此外，它推断了推理链的事实性和诚挚度，并指示模子从头想考不行靠的推理，这减弱了CoK-Li中的知识检索虚伪。KD-CoT（Wang等东说念主，2023c）通过多轮QA方法处治事实推理问题。他们联想了一个反应增强的检索器，在每轮QA中检索有关外部知识以校准推理历程。其他说合使用模子我方的牵记四肢外部知识。举例，Memory-of-Thought（Li和Qiu，2023）起先进行料想考，将高置信度的想维保存到外部牵记，在推理时间，它让LLM回忆有关牵记以接济推理。

模子中的参数化知识在预进修罢了时固定，这导致其在知识容量和知识更新方面的不及。天然引入外部知识不错在一定进度上缓解这一丝，但它仍然是一个不完好的处治决策。要从根柢上处治这个问题，握续学习（Lange等东说念主，2022年；Wang等东说念主，2023g）是改日说合使命的一个有但愿的路线。

4.3.4 投票和排行

由于生成历程中固有的立时性，LLM推剃头扬出立时性和不细则性。通过多种抽样政策，不错灵验减弱这个问题，如图6所示。

图片

图 6：投票和排序通过从多个采样中聘用最终谜底来减少不一致性。

一些方法经受排行，如（Cobbe等东说念主，2021年），它进修一个考证器通过排行聘用高置信度的推理链。同期，其他方法通过投票机制聘用推理链。Self-consistency（Wang等东说念主，2023j）通过基于最终谜底的采样推理链的多数投票聘用最一致的谜底。此外，（Fu等东说念主，2023a）暴虐了Complex CoT，它诓骗基于复杂度的投票政策，倾向于聘用由更复杂的推理链生成的谜底。但是，基于谜底的投票机制莫得商酌推理链的正确性。

Miao等东说念主（2023年）在投票时商酌了推理神色，这不错同期获取一致的谜底和简直赖的推理历程。此外，为了商酌跨链中间神色之间的干系，Yoran等东说念主（2023年）在推理链之间夹杂信息，并聘用最有关的事实对多个推理链进行元推理。GRACE（Khalifa等东说念主，2023年）通过对比学习进修一个辩别器，并使用这个辩别器对每个中间推理神色进行排行。往时的方法基于概率散布进行抽样，而Diversity-of-Thought（Naik等东说念主，2023年）通过使用不同的指示指示获取多个推理旅途。

从集成学习中吸收灵感，随后进行投票和排行的多重抽样作念法有助于减少不细则性。此外，与单样本方法比较，它展示了显贵的性能普及。多重抽样与投票已成为刻下X-of-thought说合中的常用技艺。将推理链整合到投票中仍然是改日说合的一个迫切领域。

4.3.5 成果

LLM推理和手动注释的推理链带来了漂后的支拨。Aggarwal等东说念主（2023年）通过动态协调样本数目提高自一致性，这不错在边缘性能下跌的情况下显贵裁汰推理老本。Ning等东说念主（2023年）并行地领会问题并同期处理它们，减少了推理时辰支拨。但它无法处理复杂问题。Zhang等东说念主（2023b）通过聘用性跳过一些中间层并随后在另一个前向传递中考证草稿来加速推理。Diao等东说念主（2023年）模仿了主动学习的想想，对具有高不细则性的示例进行注释，减少了东说念主工注释老本。大限度谈话模子展示了雄壮的智商，但它们也带来了雄壮的支拨。在改日的说合使命中，均衡性能和支拨之间的量度可能需要大批的良善。

5 前沿应用

5.1 器具使用

尽管大型谈话模子（LLMs）展示了平常的知识，但也伴跟着一些挑战。这些挑战包括无法窥探最新新闻、在回答触及领域外知识的查询时倾向于产生幻觉，以及坚苦复杂的推聪敏商，如数学贪图或秀丽推理。通过赋予LLMs使用外部器具的智商，不错增强模子的推聪敏商并整合外部知识，使其大概进行信息检索和环境交互。

MRKL（Karpas等，2022年）引入了一种包含可彭胀模块（称为大家）和路由器的新框架。这些大家不错是神经聚集或秀丽样式。但是，这项说合主要麇集在主见化和有意针对数学贪图进修LLM，而莫得深入结束其他模块内容。TALM（Parisi等，2022年a）和Toolformer（Schick等，2023年）将文本为中心的方法与接济器具趋附，以增强谈话模子的智商。他们经受自监督机制启动性能增强，从一组有限的器具指示开动。雷同地，HuggingGPT（Shen等，2023年）诓骗视觉和语音模子处理来自不同模态的信息，从而赋予LLMs多模态认识和生成的智商。另一个问题是如何聘用符合的器具。LATM（Cai等，2023年）使LLMs大概在不同任务中生成通用的API，而GEAR（Lu等，2023年c）则通过使用较小的模子来委派器具的基础和施行，从而商酌器具使用的成果。

但是，将用户央求调度为API神色闲居并拦阻易。上述现存方法在促进屡次器具调用和矫正查询虚伪方面存在局限性。为了处治这个问题，ReAct（Yao等，2023年c）整合了推理和行动的上风，相互增强和补充，提高了问题处治智商。ART（Paranjape等，2023年）使用任务库聘用有关的器具使用和推理链。MM-REACT（Yang等，2023年）进一步诓骗视觉大家结束多模态推理和行动。

上述说合使命麇集在联想器具（或API）以增强LLMs在各个领域的智商。将XoT与器具趋附灵验支吾了LLMs靠近的挑战。X-of-thought推理使模子大概灵验地引出、追踪和更新行动磋磨，同期看管特别情况。同期，行动操作促进模子与外部资源（如知识库和环境）的交互，使其大概网罗额外信息。为了评估器具的智商，API-Bank（Li等，2023年c）和MetaTool（Huang等，2023年c）引入了详尽基准，提供了评估器具增强型LLMs性能和灵验性的坚实基础。

5.2 操办

LLMs在径直提供复杂问题的准确谜底方面靠近挑战，需要将其领会为一语气的神色和子任务。天然想维链（CoT）提供了一种浅陋的操办方法，但在处治高度复杂的问题时却显得不及，且坚苦通过回溯评估和矫正虚伪的智商。

很多说合将想维链的框架彭胀到各状貌式，以进一步增强操办智商。树形想维（Tree-of-Thought，Yao等，2023b）使LLMs大概在树中商酌多种推理旅途并自我评估以细则下一走路动。在需要全局决策的情况下，ToT允许通过深度优先搜索或广度优先搜索等技艺进行前向或后向探索。通过操办进行推理（Reasoning via Planning，RAP，Hao等，2023年）也将问题区别为树，并通过蒙特卡洛树搜索算法进行探索，使用LLMs四肢宇宙模子和推理代理。另一种方法，图形想维（Graph of Thought，GoT，Yao等，2023d），使用图节点暗示各个想维并诓骗外部图神经聚集进行组织。LLM+P（Liu等，2023年a）和LLM+DP（Dagan等，2023年）促进LLMs生成操办域界说谈话（PDDL）（Gerevini，2020）。PDDL有助于领会复杂问题并诓骗专科模子进行操办，然后将罢了调度为天然谈话供LLM处理。但是，需要注重的是，这些方法使用树/图/PDDL节点来暗示想维，这在暗示样式上有局限性，只可处理特定的操办问题。

另一种技艺是提高模子矫正虚伪和总结历史训诲的智商。自我改进（Self-Refine，Madaan等，2023年）经受了一种独有的方法，即使用兼并模子评估并反应模子生成的输出。反想（Reflexion，Shinn等，2023年）使模子大概反想并矫正之前行动中的虚伪，雷同于文本神色的强化学习，并将牵记区别为弥远和短期身分。但是，当出现磋磨外虚伪时，Reflexion无法更新磋磨。AdaPlanner（Sun等，2023年）引入了自适合闭环磋磨改进，证据环境反应迭代细化任务磋磨。ISR-LLM（Zhou等，2023年c）将自我改进与PDDL趋附，在万古辰律例任务中取得了更高的顺利率。同期，LATS（Zhou等，2023年a）诓骗基于谈话模子的蒙特卡洛树搜索进行更生动的操办历程。

操办不错生动地与器具（Ruan等，2023年）或代理（Crispino等，2023年b）趋附，以丰富推聪敏商。ToRA（Gou等，2023年）联想了带有外部器具的数学专科代理，AutoUI（Zhang和Zhang，2023年）径直与多模态环境交互，而不是将视觉输入调度为文本，从而提高推理成果并减少虚伪传播。

操办增强方法通过引入基于搜索、基于图形和基于界说谈话的方法，鼓舞了传统律例操办的发展。另一方面，一些方法趋附了行动、操办、反想或器具，旨在增强LLMs的弥远操办和抗虚伪智商。

5.3 想维链蒸馏

通过蒸馏推理神色，大型谈话模子（LLM）不错自我改进以处治复杂问题。Huang等（2022年）经受了一种自一致性LLM，从未秀丽数据生成想维链。随后诓骗这些链条微调模子，增强其平常的推聪敏商。Zelikman等（2022年）暴虐了STaR，一种使用自轮回指引政策改进谈话模子推聪敏商的小样本学习方法。SECToR（Zhang和Parkes，2023年）使用想维链获取算术谜底，然后微调模子以径直生成谜底而无需想维链。

想维链是一种主要在大型谈话模子中不雅察到的新兴智商，在袖珍模子中进展有限。但是，通过蒸馏等技艺普及袖珍模子的想维链智商是可行的。Magister等（2023年）展示了通过使用较大教师模子生成的推理链微调T5，并使用外部贪图器处治谜底，不错显贵提高各式数据集上的任务性能。Ho等（2023年）生成和筛选多条推理旅途以丰富种种性。

很多起劲旨在通过使用未标注（或很少标注）数据和自一致性（Wang等，2023j）来减少东说念主工老本。Hsieh等（2023年）使用指示从小数标注/未标注数据生成谜底，然青年景旨趣，指示谈话模子为给定谜底提供推理。SCoTD（Li等，2023年）发现，从教师模子中为每个实例采样多条推理链对于提高学生模子的智商至关迫切。SCOTT（Wang等，2023h）在生成教师模子的旨趣时使用对比解码（Li等，2022b；O'Brien和Lewis，2023年）。此外，为了处治快捷样式问题，它在进修学生模子时经受反事实推理主见。DialCoT（Han等，2023年）将推理神色领会为多轮对话，并使用PPO算法聘用正确旅途。Jie等（2023年）；Wang等（2023i）为数学问题添加了特殊秀丽。这种高头绪信息提高了推理神色的一致性。

上述说合经受了分享范式，通过具有更高推聪敏商的LLMs生成想维链，然后将这些想维链蒸馏到较小的模子中。通过增强较大模子的采样政策，举例诓骗多条采样旅途、一致性或对比解码，蒸馏历程的灵验性得以提高，这带来了生成推理链的种种性和准确性，最终成心于向较小模子的蒸馏历程。值得注重的是，谈话模子在多维智商上存在复杂的量度和均衡。Fu等（2023年b）强调，通过蒸馏增多任务特定的想维链智商可能会对模子处治平常问题的性能产生不利影响。

6 改日标的

天然想维链推理在很多任务中发扬出了显贵的性能，但仍有一些挑战需要进一步探索。在本节中，咱们简要概述了改日说合的三个有出路的标的：多模态想维链推理（§6.1）、信得过的想维链推理（§6.2）和想维链推理表面（§6.3）。

6.1 多模态想维链

赌球为什么不能两边都买

从单一模态的文本到视觉-文本的多模态调度引入了更丰富的信息，同期也带来了更多的挑战。一些说合尝试通过微调多模态模子在多模态场景中生成高质地的想维链来探索想维链推理。Multimodal-CoT（Zhang等，2023年g）起先微调多模态模子生成想维链，然后在这些旨趣上进行推理以获取最终谜底。但是，它受到推理历程线性限度的影响，况兼在不同模态之间的交互方面存在艰苦。为了处治Multimodal-CoT碰到的挑战，Yao等（2023年d）暴虐了想维图（Graph-of-Thought，GoT），将想维历程建模为图。它将推理链解析为想维图，通过捕捉非律例的信断交互，使想维历程的暗示愈加信得过。这一设施通过图形结构艰涩了线性结构的限度，并进一步提高了性能。此外，Yao等（2023年a）暴虐了超图想维（Hypergraph-of-Thought，HoT），用超图取代想维图，使模子具有更好的高阶多跳推理和多模态比较判断智商。同期，一些使命经受了基于知识蒸馏的方法。T-SciQ（Wang等，2023年d）从LLM生成高质地的想维链旨趣四肢微调信号，并引入了一种新颖的数据夹杂政策，以生成适用于不同问题的灵验样本。

上述说合在小模子和微调场景中探索了多模态推理，这被视为多模态想维链推理领域的初步尝试。咱们觉得，趋附凹凸体裁习的视频多模态推理当该成为改日说合的重心。一方面，与图像比较，视频引入了额外的时辰信息，具有内在的链条干系。通过想维链推理，不错天然地鸠合不同帧中的信息，显式建模时辰干系，这相当妥贴视频多模态推理。另一方面，小模子在智商上有限，需要微调武艺获取想维链智商。更恶运的是，多模态推理链难以获取，这进一步加重了挑战。比较之下，刻下的视觉-谈话基础模子（VLMs）（Alayrac等，2022年；Li等，2023年a；Wang等，2022年b；Huang等，2023年b；Peng等，2023年；Yu等，2021年b）具有苍劲的视觉-谈话认识智商，也曾大概在文本和图像交错的凹凸文中进行学习。它们为趋附凹凸体裁习的想维链推理提供了坚实基础。诓骗想维链进行视频推理仍然是一个未被充分探索的领域，只好少数说合触及。CoMT（Hu等，2023年b）在视频推理中趋附了快想维和慢想维，并引入了操办的树搜索政策，初次在视频多模态推理中应用了想维链。

尽管一些说合也曾开动诓骗想维链推认识决多模态推理任务，但之前的使命仅良善于如何构建高质地的微调数据，仍有几许挑战需要处治：

- 如何长入视觉媾和话特征以引出更好的多模态认识。

- 如安在不进行微调的情况下使用VLMs进行想维链推理。

- 如何将图像多模态推理适合到视频多模态推理。

6.2 信得过度

大批说合标明，想维链推理可能导致幻觉气候，如事实虚伪和凹凸文不一致。商酌到谈话模子内容上属于统计模子，况兼由于数据噪声和知识淡忘等因素，幻觉气候是不行幸免的。

一些使命专注于减弱事实虚伪。He等（2023年a）引入外部知识来评估推理链，并通过投票过滤偷换含事实虚伪的链条，但不进行矫正。Wang等（2023年b）经受了雷同的方法，不同之处在于额外引入了反想机制以矫正低评分的推理。Zhao等（2023年a）通过一致性过滤掉低置信度的推理，并带领模子基于有关外部知识从头推理。天然上述方法在知识密集型任务中发扬讲究，但在处治凹凸文不一致性挑战方面却有所不及。Zhang等（2023年d）探索了推理历程中幻觉滚雪球气候。其他一些说合旨在处治不一致性问题。Radhakrishnan等（2023年）不雅察到，模子在处理浅陋问题时更为信得过。因此，通干与题领会来提高信得过度。Faithful CoT（Lyu等，2023年）率先生成秀丽推理链，然后细则性地施行秀丽函数，以减弱推理不一致性。Lanham等（2023年）探讨了影响信得过度的因素，提供了训诲性视角。说合发现，不同任务的信得过度不同，跟着模子限度的增多，信得过度下跌。CoNLI（Lei等，2023年b）暴虐了一种后裁剪政策以减少幻觉。SynTra（Jones等，2023年）在易引发幻觉的合成数据集上进行前缀调优，然后将此智商转机到本质任务中。

尽管在处治大型谈话模子幻觉问题上作念出了很多起劲，这些使命仅在某种进度上缓解了问题。要充足提无边型谈话模子的信得过度还有很长的路要走。咱们总结了改日的说合标的如下：

- 提高识别推理历程中的幻觉气候的智商。

- 提高外部知识检索和诓骗的准确性，以减少事实虚伪。

- 提高识别和矫正凹凸文不一致和逻辑虚伪的智商，这更具挑战性。

- 如何从根柢上摒除幻觉气候，举例通过特定的预进修方法。

有的人能记住他的容貌，但不能记住他的姓名，有的人能记住他的姓名，但他总是被当成男人。

6.3 想维链表面

尽管想维链推剃头扬出了令东说念主印象潜入的智商，但仍然坚苦对于按照指示生成想维链的全面解释。

一些说合从训诲角度开端，可四肢本质带领。Madaan和Yazdanbakhsh（2022年）将指示领会为三个部分：秀丽、模式和文本，通过反事实指示探索想维链的影响。Wang等（2023年a）分析了示范聘用的影响。他们发现，推理链的正确性影响很小，而与问题的有关性和正确的推理律例很迫切。Tang等（2023年）探索了语义的作用。说合发现，想维链推理在很猛进度上依赖于预进修时间引入的语义知识，在秀丽推理方面发扬欠安。

其他一些说合从表面上分析，探索潜在的旨趣和里面机制。Li等（2023年e）将想维链推认识构为一个多神色组合函数。他们标明，想维链减少了凹凸体裁习处理复杂问题的复杂性。Feng等（2023年）表面解说了一个固定大小的Transformer足以完成贪图任务和动态操办任务，并复旧想维链。Merrill和Sabharwal（2023年）不雅察到，想维链不错增强推聪敏商，跟着中间推理神色数目的增多，改进幅度也增多。Wu等（2023年）诓骗基于梯度的特征归因方法探索想维链对输出的影响。罢了标明，想维链对问题中的扰动和变化发扬出鲁棒性。此外，有一些不雅点觉得，想维链智商源自预进修阶段的代码数据（Madaan等，2022年；Zhang等，2023年c），但现在莫得系统的使命来阐明这一不雅点。

刻下对想维链表面的说合仍处于初步探索阶段。咱们总结了改日的说合标的如下：

- 探索想维链智商的来源，以结束想维链推理的有针对性改进。

- 从表面上分析想维链相对于凹凸体裁习的上风，并探索其智商界限。

7 盘考

7.1 想维链构建比较

现存方法构建想维链主要有三种样式：(1) 手动标注推理链。 (2) 模子自动生成推理链。 (3) 半自动生成，诓骗小数手动标注的推理链进行自动彭胀。

咱们不雅察到，手动构建方法（Wei等，2022b；Gao等，2023年）靠近与凹凸体裁习雷同的挑战，即示范聘用、指示神色化等（Dong等，2023年）。这导致其应用艰苦重重，况兼进犯了跨不同任务的转机智商。自动构建方法（Zhang等，2023年f；Chen等，2022年a；Xu等，2023年）坚苦高质地标注的带领，导致性能不及。收获于手动标注带来的信号，半自动方法（Shum等，2023年；Shao等，2023年）不错通过自指引和雷同技艺生成高质地的推理链，灵验处治了以往方法靠近的挑战。在取得优异性能的同期，还能安谧结束跨不同任务的转机。

7.2 考证/改进与操办的比较

操办方法与基于考证/改进的方法之间存在很多相似之处，因为两者都依赖于中间历程的反应来协谐和改进行动。区别在于操办方法包括决策历程，而基于考证/改进的方法仅处治中间虚伪，而不触及更高头绪的领悟历程。

LLM的推理历程闲居存在幻觉，导致事实和逻辑虚伪。基于考证和裁剪的方法（Ling等，2023年；Zhao等，2023年a；Madaan等，2023年；Shinn等，2023年）考证推理历程的正确性并改进可能导致幻觉的推理神色。通过考证和改进，大大减少了推理历程中的连锁虚伪和幻觉气候。

博彩网站怎么套利

操办方法（Long，2023年；Yao等，2023年b,c；Liu等，2023年a；Shinn等，2023年）在推理中引入了决策历程。他们评估中间推理神色以获取反应，并基于反应进行探索和回溯，以在全局层面上获取更优的处治决策。其专科化在于处理复杂问题，特地是在面对复杂的多跳推理和操办任务时，大概取得显贵的性能。

7.3 弥补固有颓势

LLM在推理方面存在很多固有的局限性，举例无法窥探外部信息、算术虚伪和不一致的推理。这些问题不错通过将特定职责委用给专用模块或模子来机要塞秘密。

针对模子在窥探外部信息方面的局限性，（Li等，2023年d；Wang等，2023年b；Lu等，2023年a；Schick等，2023年；Karpas等，2022年；Yoran等，2023年）诓骗知识库、搜索引擎和怒放域问答系统等外部知识资源。一些使命引入了贪图器来处治算术虚伪（Schick等，2023年；Karpas等，2022年；Parisi等，2022年b）。代码施行是细则性的，一些使命通过引入代码施行器提高推理历程的一致性（Gao等，2023年；Chen等，2022年a；Bi等，2023年；Imani等，2023年）。咱们觉得，将LLM用作中央操办和推理的代理，将特定子任务委用给专用子模子，是改日在复杂场景中应用大模子的潜在路线（Wang等，2023年e；Xi等，2023年）。

7.4 其他使命

沙巴捕鱼

在本章中，咱们将列出其他代表早期尝试想维链推理或专为特定领域联想的使命。Katz等（2022年）；Zhang等（2022年）提供了基准和资源。一些使命训诲性地解说了想维链指示的灵验性（Lampinen等，2022年；Ye和Durrett，2022年；Arora等，2023年），Shi等（2023年）探索了多谈话想维链推理。其他使命专注于特定领域，如机器翻译（He等，2023年b）、情谊分析（Fei等，2023年）、句子镶嵌（Zhang等，2023年a）、摘要（Wang等，2023年k）、算术（Lee和Kim，2023年）和表格推理（Chen，2023年；Jin和Lu，2023年）等。此外，一些说合诓骗特定的预进修来增强某些智商，如数学推理（Lewkowycz等，2022年；Zhao等，2022年）。

8 论断

本文对现存的想维链推理说合进行了平常的窥探，提供了对该领域的全面追思。咱们先容了广义想维链（X-of-Thought）的主见，并从多个角度注目了X-of-Thought推理的进展。此外，咱们还探讨了X-of-Thought在前沿领域的应用。咱们还强调了现在这一说合靠近的挑战，并瞻望了改日的远景。据咱们所知，这项窥探是对想维链推理的初次系统性探索。咱们的主见是为对想维链推理感有趣有趣的说合东说念主员提供全面的概述，但愿这项窥探能促进该领域的进一步说合。

Chu Z体育代理, Chen J, Chen Q, et al. A survey of chain of thought reasoning: Advances, frontiers and future[J]. arXiv preprint arXiv:2309.15402, 2023.

本站仅提供存储功绩，扫数内容均由用户发布，如发现存害或侵权内容，请点击举报。