chanong 引言代理应用是人工智能驱动的系统，旨在根据用户输入和环境背景自主执行任务和做出决策。这些应用利用高级模型和工具来规划、执行并动态调整其行动。通过整合诸如工具访问、多步骤推理和实时调整等功能，代理应用可以生成并完成复杂的工作流程并提供智能解决方案。我必须补充说，虽然许多理论和未来预测都是基于推测，但我优先考虑原型设计和创建工作实例。这种方法将评论建立在实践经验之上，从而得出更准确的未来预测。一些背景信息生成式人工智能和与语言相关的人工智能正在飞速发展，早在2018年，就引入了提示工程的概念，以结合自然语言处理任务并将其视为一个特定上下文中的问题解答问题。直到2021年4月，一位研究人员提出了RAG（Retrieval-Augmented Generation）一词，用于描述知识密集型NLP任务的检索增强生成。直到2022年1月，谷歌研究人员提出了思维链提示技术。2022年9月，OpenAI推出了Whisper，这是一个开源声学模型，在语音识别上接近人类水平的稳健性和准确性。2023年，我们看到了大型语言模型从仅文本界面的发展，通过引入图像处理和音频。“基础模型”一词是对大型语言模型的新恰当引用，除了生成引人注目的文本外，它还可以生成图像、视频、语音、音乐等。“基础模型”一词最早由斯坦福大学人本人工智能在2021年8月提出。同样在2023年，我们看到了小型语言模型（SLMs）的兴起。尽管SLMs占用空间小，但它们在推理、自然语言生成（NLG）、上下文和对话管理等方面具有先进能力。2023年，我们还看到了代理的兴起。代理的核心是一个LLM，同时代理还可以访问一个或多个工具来执行特定任务。代理能够回答高度模糊和复杂的问题... 代理利用LLM来决定采取哪种行动。行动完成后，代理进入观察步骤。在观察步骤中，代理分享一个想法；如果未达到最终答案，代理将循环回到另一个行动，以便更接近最终答案。代理得到工具的赋能，这些工具可以包括数学库、网络搜索、天气API以及其他集成点。可以将代理应用程序视为这一进展中的下一步，因为代理应用程序拥有更多代理权，能够浏览和解释网络、具备移动理解能力，并且能够访问多种模态。
上下文参考 为了让应用程序在给定的生态系统中真正拥有自主性，需要集成和通信。以苹果公司关于Ferrit-UI的研究为例，下图左侧的手机屏幕被定义为具有名称和描述的边界框。
这些带有坐标的屏幕描述可以用来引导用户回答特定问题。例如，用户可以问：“我如何创建一个新的快捷方式？”代理应用程序将能够突出显示并引导用户到图形用户界面中的适当位置。
这种自然语言集成允许更深层次的理解，通过理解用户意图、补充重要相关信息、用户界面位置和交互信息来实现。
增强的自主性最近的一项研究关注了如何通过转向更动态、交互式的系统，在更广泛的领域实现中更广泛地利用大型语言模型。
当前的语言代理框架专注于促进概念验证语言代理的构建，但它们经常忽视非专家用户的可访问性，很少关注应用级设计。
本研究中设想的框架引入了OpenAgents，这是一个为在日常生活中使用和托管语言代理而设计的开放平台。
OpenAgents包括三个主要代理：
1） 数据代理 使用Python/SQL和各种数据工具处理数据分析。
2） 插件代理 与超过200个日常API工具集成。
3） web代理 促进自主网络浏览。
OpenAgents允许普通用户通过一个优化了快速响应和常见故障处理的网络界面与这些代理互动。它还为开发人员和研究人员提供了在本地设置上的无缝部署体验，为创建创新的语言代理并实现真实世界评估奠定了基础。
OpenAgents平台为普通用户、开发人员和研究人员提供服务：
普通用户 可以通过在线网络界面与代理互动，无需使用面向程序员的控制台或软件包。
开发人员 可以毫不费力地部署前端和后端以进行进一步的开发，使用提供的代码库。
研究人员 可以使用示例和共享组件构建新的语言代理或与代理相关的方法，并通过网络UI评估它们的表现。
三个基本组件
1） 语言模型 2） 工具界面 3） 环境挑战对于用户界面实现：
确保为非专家用户提供直观和用户友好的交互。优化响应时间以提供快速反馈。优雅地处理常见错误以增强用户体验。对于语言代理：
无缝集成多样的工具和API。高效且可靠地执行复杂任务。在各种环境中的现实世界适用性和稳健性。总之我们所知道的代理的某些方面被延续到了代理应用程序的概念中。
这些包括与可访问的特定工具集成的主干语言或基础模型。
用户界面对于非技术用户的广泛采纳至关重要。
此外，网络浏览器在执行任务中扮演着重要角色，为代理应用程序提供了一定程度的自主性。
