Zilliz @ GOTC：大模型的记忆体--向量数据库的现在与未来

近日,2023 全球开源技术峰会(Global Open-source Technology Conference,以下简称 GOTC 2023 ) 在上海张江科学会堂召开,Zilliz 创始人兼首席执行官星爵、Zilliz 合伙人兼技术总监栾小凡以及 Zilliz 开发者关系及市场运营负责人李晨受邀参会。

GOTC 2023 由上海浦东软件园、开放原子开源基金会、 Linux 基金会亚太区和开源中国联合发起,以行业展览、主题发言、专题论坛、开源市集多种形式呈现, 主题为 Open source,into the future,在本次主题的框架之下,开源、AIGC、供应链安全等话题成为大会讨论的重点。

其中,引人侧目的是主论坛关于 AIGC 主题的讨论。2023 年,ChatGPT 的发展引发 AI 领域关于 AIGC 技术的讨论。在腾讯开源联盟主席、OpenCloudOS 社区秘书长单致豪的主持下,LF AI & Data 基金会执行董事、PyTorch 基金会执行董事 Ibrahim Haddad,Zilliz 创始人兼首席执行官星爵,NVIDIA 工程和解决方案高级总监赖俊杰,Untiy 中国技术副总裁左瑞文探讨了 AIGC 技术如何重塑互联网领域和全球社会。

星爵表示:“以 ChatGPT 为代表的大模型仍处于发展过程中,‘知识储备’十分有限,经常出现‘AI 幻觉’,加上大模型的训练成本高昂,使得大模型的应用受到诸多限制。向量数据库作为大模型的记忆体,不仅能够为其提供数据存储,而且能通过数据检索的方式让大模型进行知识增强。在向量数据库的加持下,大模型将变得博闻强识、成本可控。”

Zilliz 创始人兼首席执行官星爵

在随后关于开源话题的探讨中,星爵感慨颇深:从大教堂模式到集市模式,开源以它那海纳百川般的创新精神感染着每一位开发者,也为开源项目赋予了持久的生命力和力量,Zilliz 的第一个开源项目 Milvus 也不例外。从在 GitHub 上将第一行代码开源到成长为全球领先的向量数据库,从一个开源项目发展成拥有成千家企业级用户体量的产品,Milvus 受益良多,而这一切都源自开源。

开源的力量自不必说,这股星星之火也一定会烧到大模型时代,未来一定会出现越来越多的开源模型,尤其是垂直领域的小模型。当下,ChatGPT 的通用大模型是超级计算机,而大家手中常用的工具是 PC 笔记本、手机等,未来可能同时需要十几个模型配合工作,这时候小模型的优势就会凸显出来。再配合垂直领域训练,小模型在资源配置方面会变得更加高效。因此,开源大模型与开源小模型并存将是常态。

在次日的“数据与数据库技术”论坛中,栾小凡则带来了名为《大模型构建的 AI 原生数据库 Milvus》的主题演讲。

Zilliz 合伙人、技术总监栾小凡

栾小凡提到,当下“AI 幻觉”是大模型的主要痛点之一,由于信息密度不足,大模型经常会生成一些无意义或不可信的内容。在此情况下,有三种方案可以解决这一问题:微调模型、控制 prompt、构建知识库。

微调模型是大概三五年前比较流行的处理方式,一来需要足够多的数据对微调进行支撑,二来对算力要求较高,整体较难实现。控制 prompt 是通过 prompt 对内容的选择和长度加以限制,不过这同时也会限制信息量,最终仍无法得到理想的结果。知识库是为大模型灌输额外的知识,为其提供更多参考,不过由于知识库的内容未必都对问题有帮助,需要对它们进行语义搜索或初步筛选,这时候便需要 CVP Stack。

何为 CVP Stack?C 是 ChatGPT,即利用大语言模型实现以 ChatGPT 为代表的智能问答;V 是 Vector database,即通过向量数据库为 ChatGPT 提供大规模的、可靠的知识库;P 是 Prompt as code,即使用提示匹配用户问题与来自知识库的参考内容。CVP Stack 的应用场景代表为面向开源用户和开源社区运维人员的问答机器人 OSSChat(https://osschat.io/)以及 GPT 的缓存层 GPTCache(https://github.com/zilliztech/GPTCache)。

在整个 CVP Stack 中,向量数据库扮演着重要角色,它是为 AI 而生的数据库,Milvus 是这一赛道的奠基者与领先者。Milvus 2.0 是云原生分布式的一款向量数据库,具有百亿规模的向量可扩展性,能够实现存储计算分离、离在线一体化等。同时,Milvus 2.0 的性能亦值得关注,它的查询速度高于 ES 10 倍,高于主流竞品 2 倍,具备毫秒级延迟响应。此外,可插拔引擎、云端一体的特点也让 Milvus 2.0 成为全球领先的向量数据库。

而 Milvus 的下一站是全托管 SaaS 服务的 Zilliz Cloud,它具备维护成本低、使用门槛低、丰富的企业级特性、安全放心的特点。目前,Zilliz Cloud 已支持 AWS、GCP,今年 6 月底即将登陆阿里云,以便能够更好地为国内用户服务。

在“AI is Everywhere”的论坛上,李晨以《向量数据库,大模型的记忆体》为主题进行了分享。

Zilliz 开发者关系及市场运营负责人李晨

李晨着重解释了向量数据库为何是大模型的记忆体。他表示,在 CVP Stack 之中,Vector Database 作为一个大模型的外部存储,可以为大模型提供最有效的知识增强方案。再深入点理解,如果把大模型看作人类的大脑,那么这个大脑除了需要具备强大的计算能力,还需要拥有与之匹配的存储能力。在传统的经典计算架构中,冯·诺伊曼架构是计算与存储分离的形式,这也成为大模型的趋势。原因在于,纵观整个计算机发展历史,存储的价格远低于计算价格一个乃至多个数量级,大模型也不例外,在成本与计算的双重考量下,如向量数据库一般的外部存储的重要性,不言而喻。

在向量数据库的加持下,大模型将以更低的成本得到更智能的知识增强效果。那么,得到知识增强后的大模型,下一站在哪里?答案是智能体( Intelligent agents)。

例如 Auto-GPT,可以理解为完全自制的 GPT-4,它具备思维推导与执行的能力,未来甚至可能产生类似智能体的思考。又如斯坦福和谷歌做的名为“Generative Agents: Interactive Simulacra of Human Behavior”的研究,他们在一个虚拟环境中模拟了几个卡通人,每个卡通人都具备自主的判断能力和意识,可以在虚拟世界中生活、交互、成长。

此外,第一个智能体机器人的虚拟社区 Chirper.ai、AI 分身、小说创作公司开始制作人物的虚拟实体、游戏公司开始用虚拟分身与玩家交互、聊天……

这其中,除了需要借助大模型的能力,也要用到向量数据库的能力。在此情况下,向量数据库未来将迎来百万级的市场增长,未来可期。

关于 Zilliz

Zilliz 作为向量数据库领域的拓荒者与奠基者,不仅开创了向量数据库赛道,也提供了世界上最快的向量数据库产品。随着近一年来大模型的火爆,Zilliz 也迎来了全世界的关注:早在 3 月份英伟达全球开发者大会上,Milvus 便作为向量数据库的代表被黄仁勋提名;紧接着 Zilliz 旗下的 Milvus 和 Zilliz Cloud ,也成为了 OpenAI 官方首批 plugin 合作的向量数据库。最近,Zilliz 先后接入和支持了各种热门的项目,例如 LangChain、 Auto-GPT、BabyAGI 等,成为全球最炙手可热的向量数据库品牌。

Zilliz 产品生态丰富,致力于构建开源+云的大模型加强方案,其中开源向量数据库 Milvus 扮演着大模型知识库的角色;Towhee 可以为大模型提供编排服务;GPTCache 则为大模型提供缓存;Zilliz Cloud 可以为用户提供开箱即用的全托管向量检索服务。

http://c5gzbdkx.cn.yongzhou.gov.cn/news-99-63247-1.html