全部新闻

人工智能 ·

为何静态技能不一致不等同于运行时风险:LLM 智能体执行的行为分析

一项新研究对575个技能进行审计,发现1182个经人工验证的合同不一致,并通过49个可执行智能体任务及三种LLM的行为分析,揭示静态缺陷数量无法可靠反映实际性能下降。

一个抽象的示意图,展示分散的文档、齿轮和连接线,象征智能体技能包中的组件关系与潜在不一致。
一个抽象的示意图,展示分散的文档、齿轮和连接线,象征智能体技能包中的组件关系与潜在不一致。

大语言模型智能体框架依赖外部技能资产来规范工具使用、编码操作流程并提供可执行运行时资源。然而,多组件技能包经常出现跨工件不一致,即文档、脚本和配置文件指定了相互冲突的行为约束。尽管静态审计技术可以发现这类合同性差异,但静态缺陷数量不能可靠反映智能体在实际运行中的性能退化。

该研究对575个社区和基准技能进行了大规模审计,得到1182个经人工验证的合同不一致。研究团队还构建了一个受控评估流水线,包含49个可执行智能体任务和三种代表性大语言模型,并在无技能、原始技能和修复技能三种实验设置下进行测试。通过441组成对执行轨迹的细粒度行为分析,论文探讨了技能不一致在运行时的实际影响。

这一工作旨在弥补静态审计结果与真实世界智能体表现之间的证据空白,帮助从业者更准确地评估有缺陷智能体技能的实际风险。

来源:arXiv cs.AI,https://arxiv.org/abs/2610.18927

arXiv metadata, CC0

来源: arXiv cs.AI

基于所附来源由 AI 撰写