12月15日,2023 英特尔新品发布会暨 AI 技术创新派对上,星环科技基于第五代英特尔®至强®可扩展处理器的Transwarp Hippo分布式向量数据库解决方案重磅发布。该方案利用第五代英特尔®至强®可扩展处理器带来的强大算力,实现了约 2 倍的代际性能提升,可有效满足大模型时代海量、高维向量的存储和计算需求,能够帮助企业更好地应对大模型时代海量、多维向量数据的高并发和实时计算等挑战。
基于不同代际英特尔®至强®可扩展处理器的 Transwarp Hippo 性能对比
以大语言模型为代表的人工智能 (AI) 应用出现爆炸式增长背景下,企业对于非结构化数据的存储与处理需求出现了快速增长,分布式向量数据库得到了普遍应用。分布式向量数据库在大模型应用中扮演着重要角色,大模型+向量数据库的架构能够让大模型保持数据的实时性,使大模型拥有 “长期记忆”,解决模型需要多次二次训练才能满足不同业务需求。同时,通过多模态信息的向量化,帮助大模型满足回答信息实时性要求。
星环科技分布式向量数据库 Transwarp Hippo 作为一款企业级云原生分布式向量数据库,基于分布式特性,可以对文档、图片、音视频等多源、海量数据转化后的多维向量进行统一存储和管理,能够通过水平扩展架构,充分发挥并行检索能力,实现毫秒级高性能数据检索,结合相似度检索等技术,帮助用户快速挖掘数据价值。
星环科技分布式向量数据库 Transwarp Hippo 产品架构
星环科技分布式向量数据库Transwarp Hippo 主要优势:
一站式:提供向量转化工具和Embedding模型,一站式完成模型上架、模型评估和模型部署,降低用户使用成本,提高数据入库效率。
高精度:多类索引支持,一库搞定向量+全文联合检索,提高大模型召回准确率;结合自研图数据库,可进一步提高大模型精度。
高性能:支持多进程架构与GPU加速,充分发挥并行检索能力,结合软硬件深度优化,充分发挥CPU多核、高内存带宽等优势,为海量、多维向量提供强劲算力。
易对接:提供标准的Python、Restful、Java API等接口,可轻松对接各类应用和模型,提高应用开发和调用的效率。
在搭配第五代英特尔®至强®可扩展处理器之后,星环科技分布式向量数据库Transwarp Hippo 能够提供强大的性能基础,在大模型等场景创造巨大价值。
支撑数据的高效处理:基于第五代英特尔®至强®可扩展处理器的 Transwarp Hippo 能够实现海量、高维度向量数据处理,并具备低时延、高精确度等优势,可以满足大模型训练等场景对于数据处理能力的苛刻要求。
降低向量数据库的总体拥有成本 (TCO):由于第五代英特尔®至强®可扩展处理器实现了代际性能的大幅提升,有助于提升 Transwarp Hippo 服务器节点的性能密度,帮助用户节省在服务器采购、部署等方面的投资。同时,第五代英特尔®至强®可扩展处理器在性能提升的同时,具备更高的每瓦性能,有助于节省单位性能的能耗支出。
具备性能进一步提升潜力:除了更多的核心数量,更快的 IPC 性能之外,第五代英特尔®至强®可扩展处理器还搭载了英特尔® In-Memory Analytics Accelerator(英特尔® IAA)等硬件加速特性,有助于进一步提升数据库等场景的性能。
基于第五代英特尔®至强®可扩展处理器的星环科技分布式向量数据库 Transwarp Hippo,提供了领先的性能表现,可以有效地解决大模型在知识时效性低、输入能力有限、准确度低等问题。通过将最新资料、专业知识、个人习惯等海量信息向量化存储在星环科技分布式向量数据库 Transwarp Hippo 中,企业可以有效拓展大模型的应用边界,让大模型保持信息实时性,并能够动态调整。
同时,星环科技能够为企业提供大模型应用开发全周期的技术和产品,通过Transwarp Hippo向量数据库和大模型统一运营管理平台Sophon LLMOps、金融大模型Transwarp Infinity“星环无涯”、大数据分析大模型Transwarp SoLar“求索”等产品组合,帮助每个企业更快、更精确地打造真正符合实际需求的专属领域大模型,促进生产力提升,加速业务创新和价值实现。