«

成本直降88%!阿里巴巴ZeroSearch技术重塑AI训练格局

一把老骨头 发布于 阅读:9 科技新闻


在人工智能的浩瀚星空中,阿里巴巴集团的研究人员再次点亮了一盏明灯。他们研发的“零搜索”(ZeroSearch)技术,不仅革新了AI系统的训练方式,更预示着人工智能将迎来一个无需依赖外部搜索引擎的自主搜索新时代。

挑战与突破:从依赖到自主
长久以来,开发能够自主搜索信息的AI助手一直是业界的难题。一方面,搜索引擎在训练过程中返回的文档质量参差不齐,难以保证训练效果;另一方面,向谷歌等商业搜索引擎进行大规模API调用的成本高昂,让许多企业望而却步。
然而,阿里巴巴的ZeroSearch技术却巧妙地解决了这两个问题。它采用了一种模拟方法,让大型语言模型(LLM)在训练过程中无需与真实搜索引擎交互,即可开发出高级搜索功能。这一创新不仅大幅降低了训练成本,还提高了训练过程的可控性。

技术揭秘:模拟搜索的魅力
ZeroSearch的核心在于其独特的训练方法。它首先通过一个轻量级的监督式微调过程,将LLM转换为一个能够生成相关和不相关文档的检索模块。然后,在强化学习训练过程中,采用“基于课程的推出策略”,逐步降低生成文档的质量,从而模拟出真实搜索引擎可能返回的各种情况。
“我们的关键在于利用了LLM在大规模预训练过程中积累的世界知识。”研究人员解释道,“通过模拟搜索,我们可以让AI在训练过程中看到各种可能的文档,从而学会如何更准确地检索信息。”

性能超越:成本与效果的双重胜利
在七个问答数据集的全面实验中,ZeroSearch的表现令人瞩目。它不仅与使用真实搜索引擎训练的模型性能相当,甚至在某些情况下还实现了超越。特别是,一个140亿参数的检索模块在性能上已经超越了谷歌搜索,而成本却只有后者的零头。
“这一结果证明了ZeroSearch的可行性和有效性。”研究人员表示,“通过模拟搜索,我们可以在不牺牲性能的前提下,大幅降低训练成本。”

行业影响:重塑AI开发格局
ZeroSearch技术的出现,无疑将对人工智能行业产生深远影响。它打破了传统AI训练对外部搜索引擎的依赖,让AI系统能够更加自主地学习和进化。对于规模较小的人工智能公司和预算有限的初创公司来说,这更是一个福音。它们可以借助ZeroSearch技术,以更低的成本开发出更高级的AI助手,从而在市场竞争中占据有利地位。
此外,ZeroSearch技术还赋予了开发者更大的控制权。他们可以根据需要精确控制AI在训练过程中看到的信息,从而优化训练效果。这种灵活性是传统AI训练方法所无法比拟的。

未来展望:AI自主进化的新篇章
随着大型语言模型的不断发展,我们有理由相信,像ZeroSearch这样的技术将引领AI进入一个全新的自主进化时代。在这个时代里,AI系统将不再依赖外部服务来开发新功能,而是能够通过自我模拟和学习来不断提升自己的能力。
“ZeroSearch只是开始。”研究人员表示,“我们期待未来能够看到更多类似的创新技术出现,共同推动人工智能的发展迈向新的高度。”

阿里巴巴 搜索引擎 ZeroSearch