北京灵奥科技基于亚马逊云科技打造大模型中间件

助力企业加速应用生成式AI

北京2024年6月27日 /美通社/ -- 北京灵奥科技基于亚马逊云科技的生成式AI、数据库和容器等云服务，打造大模型中间件，将基础模型优势和企业业务数据无缝结合，打通企业AI应用落地的最后一公里。灵奥科技现已服务全球超过30,000家用户，广泛覆盖电商、金融、法律、房地产、教育和能源等行业。

大模型中间件是基于基础模型与AI应用之间的中间层基础软件，主要解决基础模型应用过程中数据集成、应用集成、知识库（向量数据库）与基础模型融合等问题。作为一家快速成长的初创企业，灵奥科技自成立之初就加入了亚马逊云科技合作伙伴网络，推出了大模型中间件平台Vanus，提供语料的实时采集、数据清洗、过滤和嵌入。同时，作为上层应用访问基础模型与知识库的入口，提供基础模型与知识库的融合、应用部署和执行。

Vanus大模型中间件平台基于亚马逊云科技而构建，应用亚马逊云科技在计算、网络、存储、数据库和生成式AI等方面服务，实现了多个方面的好处。利用托管容器服务Amazon Elastic Kubernetes Service（Amazon EKS）的弹性扩展能力，Vanus可根据业务流量平滑伸缩，助力企业轻松应对流量洪峰，平均成本降低30%，性价比提高20%；在提高可用性和可靠性方面，利用亚马逊云科技全托管文档数据库服务Amazon DocumentDB多可用区、多副本的特性，Vanus可轻松实现数据跨区存储，实现无感灾难恢复，可用性达到99.99%；在降低延时方面，Vanus借助对象存储服务Amazon Simple Storage Service（Amazon S3）及数据库的高并发数据查询能力，结合亚马逊云科技全球网络节点加速能力，缩短基础模型上下文加载时间，将AI Agent回复系统延时降低40%；此外，Vanus借助全托管的生成式AI服务Amazon Bedrock提供的Claude系列模型，提升AI Agent的语言理解和逻辑推理能力，打造更加智能的服务体验。

目前，Vanus大模型中间件已在电商、金融、法律、房地产、教育等多个行业的业务场景中得到广泛应用。

某软件服务企业各部门沉淀了大量内部数据，但面临跨部门知识共享效率低和客服培训非常耗时的挑战。同时，客服人员基于传统搜索方式获取信息，导致响应时间较长，用户投诉率上升。Vanus基于亚马逊云科技的存储和数据库等云服务，帮助企业从文档、数据库、SaaS软件等多个数据源中实时抽取数据，构建统一的企业知识库；同时，借助Amazon Bedrock等服务，为企业客服人员构建AI 机器人，基于全域业务数据实时推理，快速提供回复建议，极大地降低了客服响应时间。现在，问题回复时间已从分钟级降至秒级，客服团队的人效提高70%，大幅降低了客服投入的成本。

南美洲某服饰类电商网站的产品高达7,000多种，每天面临大量关于产品、退换货和物流的客户咨询，不仅需要很多客服人员，也带来了较高的管理成本。尤其在客服团队非工作时间，客户问询未能得到及时回应，不仅导致客户满意度下降，更错失了许多商机。Vanus基于Amazon Bedrock等云服务为该企业构建了适合电商应用场景的客服机器人VanChat，能够提供7*24小时的即时问题回复服务，帮助该企业节省大量人力资源，提高客户满意度。此外，VanChat还提供用户意图识别和产品推荐等功能，加快用户的购买决策，推动网站销售业绩的增长。VanChat为该企业带来显著的经济效益，仅上线首月投资回报率就高达611%，同时还提供客户洞察，帮助企业更好地理解用户需求并优化营销策略。

北京灵奥科技CEO厉启鹏表示："在生成式AI赋能方面，亚马逊云科技不仅为我们构建了底层基础设施，还提供了众多简单易用且功能强大的云服务和专家资源，加速了灵奥科技生成式AI产品的快速落地。展望未来，我们将继续深化与亚马逊云科技在数据库和基础模型领域的合作，进一步增强处理数据的能力，帮助客户充分释放生成式AI的商业潜力。"