2024神经信息处理系统大会：利用大型语言模型开启因果关系的奥秘之旅

随着人工智能领域的飞速发展，2024年的神经信息处理系统会议（NeurIPS）将聚焦于一个核心议题——通过大型语言模型（LLM）的深度探索，揭示隐藏在复杂数据背后的因果关系网络。这一年度盛会标志着科研界对理解世界运行机制的崭新尝试，不再仅仅满足于相关性分析，而是力图通过LLM的强大分析能力，挖掘现象背后的真正因果链。我们正站在一个转折点上，准备跨越到一个新阶段，其中，语言模型不仅仅是文本生成的工具，更是解锁自然和社会科学中未解之谜的关键。在这次大会上，顶尖学者和研究人员将汇聚一堂，共同探讨如何利用这些智能引擎，以前所未有的方式解开宇宙的因果结构，预示着科学发现方法论的一场革命。

利用大型语言模型揭示隐藏因果关系的挑战与突破

因果关系的发现与分析是科学研究的核心，但现有的因果发现算法依赖于预先定义的高级变量，而这些变量在现实世界中往往匮乏。尤其对于图片、文本等高维非结构化数据，更是如此。香港浸会大学等机构的研究人员在NeurIPS2024发表论文《DiscoveryoftheHiddenWorldwithLargeLanguageModels》，提出了一种名为COAT的新型框架，旨在利用大型语言模型(LLM)来克服这一难题，从而更有效地识别现实世界中的因果关系。

论文链接：

代码链接：

研究背景

科学进步依赖于对关键变量及其因果关系的识别。传统的因果发现方法(CDs)依赖于人类专家提供的高质量变量，但在实际应用中，这些变量往往难以获得。例如，分析用户评分的电商卖家，只能获取用户评论等非结构化数据。因此，高级变量的匮乏限制了CDs方法的应用范围。

LLM在理解非结构化数据方面展现出强大的能力，并能解决各种复杂任务。一些研究表明，LLM可以回答因果问题，但现有方法主要将其作为因果变量的直接推理器，可靠性存疑，且缺乏对因果发现理论保证的充分讨论。因此，如何可靠地利用LLM揭示现实世界的因果机制成为一个关键问题。

COAT框架：LLM作为表征辅助工具

本研究的目标是利用LLM为非结构化数据构建结构化表征，该表征由一系列高级变量组成，能够捕捉目标信息并具有可解释性。为此，研究人员提出了CausalrepresentatiOnAssistanT(COAT)框架。用户只需提供目标变量，COAT就能迭代地寻找构成目标变量马尔可夫毯(MarkovBlanket)的高级变量集。然后，任何合适的因果发现算法都可以用于进一步分析因果结构。

数据与目标

目标是找到一个映射函数，将非结构化数据X映射到高级变量集h(X)，从而构成Y的马尔可夫毯。

LLM的作用：变量提出与取值解析

COAT将映射函数分解为一系列高级变量，每个变量将原始观测映射到预定义的值空间。这些变量由LLM通过自然语言定义，并具有明确的物理含义。例如，“甜度”可以定义为：1(满意)，-1(失望)，0(未提及/无法判断)。

COAT框架包含以下步骤：

图1.COAT框架示例

图2.COAT变量提出环节Prompt示意

图3.COAT框架总结

理论分析与实验结果

研究人员定义了感知分数和能力分数来衡量LLM提出高级变量的能力。通过理论分析和在AppleGastronome(美食家对苹果评分)和Neuropathic(神经性疼痛诊断)两个数据集上的实验，结果表明：

图5.AppleGastronome数据样例

图6.AppleGastronome相关因果图

图7.AppleGastronome实验结果

图8.LLM相关能力实验评估

图9.LLM标注噪声独立性检验

图10.AppleGastronome数据集上COAT因果结构识别评估

图11.Neuropathic数据样例

图12.Neuropathic相关因果图

图13.Neuropathic实验结果

图14.COAT探究ENSO因果机制

结论与未来展望

COAT框架有效地结合了LLM和因果发现方法的优势，能够处理非结构化数据，并为因果发现提供支持。这项研究为构建用于因果发现的强大基础模型开辟了新的方向。

引用信息

@inproceedings{causalcoat2024, 　　title={DiscoveryoftheHiddenWorldwithLargeLanguageModels},author={ChenxiLiuandYongqiangChenandTongliangLiuandMingmingGongandJamesChengandBoHanandKunZhang},year={2024},booktitle={ProceedingsoftheThirty-eighthAnnualConferenceonNeuralInformationProcessingSystems}}

以上就是NeurIPS2024|用LLM探寻隐秘的因果世界的详细内容，更多请关注其它相关文章！