精彩不停!峰会第2天,看三层技术栈如何助力企业生成式 AI 应用落地

来源:亚马逊

点击:2984

A+ A-

所属频道:新闻中心

关键词:亚马逊 AI

    2024 亚马逊云科技中国峰会第二天精彩继续上演!亚马逊云科技大中华区产品总经理陈晓建分享了构建和应用生成式 AI 的多款重磅创新产品。亚马逊云科技大中华区解决方案架构总经理代闻以桥梁设计做精巧比喻,从三个方向分享生成式 AI 时代下,架构的演进与迭代。


    亚马逊云科技在创新方面从未止步。当下企业在拥抱生成式 AI 技术,开展应用落地的过程中面临新的挑战,主要体现在:底层算力资源短缺;缺乏合适的工具,用于访问和部署世界一流模型,从而进行端到端的生成式 AI 应用构建;缺少匹配自身需求的,可开箱即用快速上手的应用。为了帮助企业克服上述挑战,亚马逊云科技打造三层生成式 AI 技术栈,从而让生成式 AI 普惠化。


    生成式 AI 技术栈底层

    可靠基础设施,支撑基础模型训练和推理陈晓建在此次峰会中表示,生成式 AI 应用开始于基础模型的训练和推理,这是两种对算力有大量需求的工作负载,也是限制企业模型开发迈出步伐的关键制约因素。为了帮助企业降低经济压力,亚马逊云科技推出了一系列专门构建的、高性价比的芯片和计算实例供企业选择,用于运行模型的训练和推理工作负载。



    对于使用英伟达 GPU 的客户

    亚马逊云科技依然是卓越选择

    基于英伟达的全新 GPU 资源的系列实例建立在亚马逊云科技的高性能存储和网络服务基础之上,支持广泛的编排选项和开源框架,通过 EFA 网络,允许企业配置高达2万个 GPU 的超级集群来支持最大工作负载。而当英伟达想建造世界上最快的 GPU 超级计算机时,他们同样选择了亚马逊云科技。Project Ceiba 这个项目是亚马逊云科技为英伟达构建的 AI 超级计算机,由英伟达和亚马逊云科技联合开发,它搭载超过2万个英伟达最新的 Grace 架构的 Blackwell 200 超级芯片和亚马逊云科技第四代 EFA 网络,每个超级芯片可提供高达 800 Gbps 的网络带宽,其算力将能达到惊人的 414 exaflops。


    为了给中国区的客户提供运行生成式 AI 工作负载的更好性价比,亚马逊云科技正式在中国区域推出基于英伟达 A10G GPU 的 Amazon EC2 G5 实例,帮助企业运行高性价比的生成式 AI 工作负载。



    自研芯片,提供生成式 AI 极致性价比

    亚马逊云科技每一代自研芯片都在持续提升性价比和能效,陈晓建表示,亚马逊云科技在定制芯片领域的投资带来了机器学习训练和推理成本的大幅下降,基于 Amazon Trainium 的 Trn1 EC2 实例和基于 Amazon Inferentia 芯片的 Inf2 EC2 实例,与基于英伟达 GPU 的 Amazon EC2 实例相比,可分别将训练成本降低高达50%,推理成本降低高达40%。



    重磅发布:国内领先基础大模型

    上线 Amazon SageMaker JumpStart

    除了芯片,训练和推理也需要合适的软件工具。因此,亚马逊云科技推出了 Amazon SageMaker,帮助企业微调和部署模型。而伴随生成式 AI 时代的来临,多卡并行训练已经是业界常态,为此,亚马逊云科技推出了 Amazon SageMaker HyperPod,专门助力大规模分布式训练,缩短基础模型的训练时间。


    此外,Amazon SageMaker 的另一项重要服务就是 Amazon SageMaker JumpStart,它可以帮助客户获取、微调和部署来自业界最新公开的可用预训练基础模型,包括 Meta Llama 3、Cohere Command 等。此外,Amazon SageMaker JumpStart 还为机器学习从业者提供深度模型定制和评估功能,允许其通过已经使用的环境轻松访问基础模型。


    由此,亚马逊云科技在峰会上宣布来自零一万物的 Yi-1.5 6B/9B/34B 基础模型和百川智能的 Baichuan-2 7B 基础模型在中国区正式同步上线 Amazon SageMaker JumpStart,为本地企业和全球所有的开发者提供用于开发生成式 AI 应用的更多基础模型选择。



    Amazon Bedrock 

    四大差异化价值让生成式 AI 触手可及

    技术栈的中间层对于大部分企业来说更加重要,构建生成式 AI 应用通常是从选用既有的基础模型开始,而不是直接参与构建基础模型。所以如何选择更加适合自身业务的模型,便成为了企业首先需要作答的问题。


    模型选择

    Amazon Bedrock 是一项全面托管的服务,用户可以通过单一的 API 访问来自 Al21 Labs、Anthropic、Cohere、Meta、Mistral Al、Stability AI 和亚马逊等领先人工智能公司的高性能基础模型。


    值得一提的是最新推出的 Amazon Titan Text Embeddings V2 模型,它是亚马逊云科技自研的 Embedding 模型,针对 RAG 工作流程进行了优化。另一款最新推出的 Titan Text Premier 基础模型是 Titan Text 系列中先进的型号,旨在为各种企业应用程序提供卓越的性能。


    为了帮助企业在选择模型时做出快速、合理的判断,亚马逊云科技正式推出了 Amazon Bedrock 模型评估功能,可将模型评估时间从数个星期压缩至几个小时。



    模型定制

    除了为企业提供来自世界领先人工智能公司的模型,Amazon Bedrock 还支持企业自定义模型的导入。企业可以将基于 Amazon SageMaker 或其他工具开发的存储在 Amazon S3 里面的定制模型导入到 Amazon Bedrock 中,以完全托管的 API 形式进行访问,而无需管理底层基础设施,收获前所未有的生成式 AI 应用程序构建体验。目前,Amazon Bedrock 自定义模型导入已提供预览版,支持 Llama、Mistral 和 Flan-T5 三种流行的开放模型架构,同时还将在未来进一步扩展支持范围。


    生成式 AI 应用可谓百花齐放,企业该如何脱颖而出?答案,就藏在数据之中。即在生成式 AI 应用的构建过程中,利用企业的自有数据,打造差异化竞争优势。


    从数据准备到数据运用,亚马逊云科技打造了一套全面的数据服务体系,涵盖数据库、数据湖、数据治理、数据分析、机器学习和生成式 AI 五大维度。该体系可以帮助企业连接现有的数据源,定制面向生成式 AI 应用构建的高质量企业数据资源,配合 Amazon Bedrock 提供的微调、持续预训练、检索增强生成(RAG)等功能,打造与企业业务相关的生成式 AI 应用。


    为了进一步帮助企业使用 RAG 技术优化模型的个性化响应,亚马逊云科技正式推出了 Amazon Bedrock 的知识库功能。作为一种完全托管的 RAG 功能,它允许企业使用上下文相关的内部数据自定义基础模型响应。Amazon Bedrock 上的知识库会自动执行端到端的 RAG 工作流程,使用者无需编写自定义代码来集成数据源和管理查询。



    应用集成

    在企业的生成式 AI 应用构建过程中,除了基础模型提供的通用能力,企业还希望其能够完成一些特定的任务,如预定旅行、提交保险理赔等。为此,Amazon Bedrock 的 Agent 功能便提供了一种工具,允许开发人员定义特定的任务、工作流程或决策过程,增强控制和自动化,同时确保与预期用例保持一致。


    为了便于企业以高效协作的方式构建生成式 AI 应用程序,亚马逊云科技还提供了一站式生成式 AI 应用开发工作站 Amazon Bedrock Studio。借助 Amazon Bedrock Studio,开发者可以使用简单易用的交互界面进行模型选择、模型评估,还可以与团队成员协作,共同试验,创建和完善生成式 AI 应用。


    负责任的 AI

    在企业构建生成式 AI 应用的过程中,确保安全合规仍然是重中之重。以安全、可信和负责任的方式部署生成式 AI,同样也是亚马逊云科技的“行动纲领”。


    亚马逊云科技致力于开发公平且准确的人工智能和机器学习服务,并为客户提供负责任地构建人工智能和机器学习应用程序所需的工具和指导,结合安全第一的理念和最佳实践,帮助客户创建以人为本的包容性 AI。亚马逊云科技承诺以负责任的方式构建服务,同时重点考虑公正性、隐私性和安全性、可解释性、可治理性、稳健性、透明性6大方面。


    企业在构建生成式 AI 应用程序时,通常希望其客户和应用之间的交互是安全并遵守企业指导方针的。针对这一需求,亚马逊云科技推出了 Amazon Bedrock 的 Guardrails 功能,它可以帮助企业轻松实施生成式 AI 应用程序的保护措施,并根据自身需求和负责任Al政策进行定制。同 Amazon Bedrock 上基础模型原生提供的保护能力相比,Amazon Bedrock 的 Guardrails 功能可帮助企业用户阻止多达85%的有害内容。



    生成式 AI 技术栈上层

    开箱即用的生成式 AI 应用

    对于一部分企业来说,与其从构建生成式 AI 应用入手,不如直接使用生成式 AI 应用,快速、轻松地获得当前主流基础模型的优势,实现业务侧的成功。为此,亚马逊云科技构建了强大的生成式 AI 助手 Amazon Q,帮助企业达成加速软件开发、发挥业务数据价值等目标。目前,Amazon Q Developer、Amazon Q Business、Amazon Q in Connect、Amazon Q in QuickSight 均已正式可用。



    Amazon Q Developer

    重塑软件开发生命周期

    Amazon Q Developer 可以协助开发人员完成从编码、测试、升级应用到故障排查、安全扫描和修复、优化云资源等繁琐重复的工作,让开发者把更多时间专注于创新体验的开发,加快应用部署速度。


    在实际应用中,Amazon Q Developer 共包含三大核心应用场景。

    大规模消除技术冗余;

    提高开发人员生产力;

    近乎实时生成代码建议和推荐帮助开发人员更快、更安全地进行构建。


    Amazon Q Business

    让每一个企业都用好生成式 AI

    为了帮助企业发挥大量难以访问和解析的数据的价值,亚马逊云科技推出了具有从任意数据中获取洞见能力的 Amazon Q Business。通过它,企业员工可以通过连接企业数据库,来提问关于公司政策、产品信息、业务结果、代码库、人员等诸多问题,从而总结数据逻辑、分析趋势并就数据进行对话。


    此外,陈晓建还特别提到了 Amazon Q Business 中的 Amazon Q Apps 的功能。在 Amazon Q Apps 的帮助下,员工可以用自然语言描述他们想要的应用程序类型,或者只需告诉 Amazon Q Apps 从 Amazon Q 帮助解决问题的对话中执行即可。


    现场,亚马逊云科技一名营销人员要求 Amazon Q Apps 创建一个应用程序,使用者只需输入特定场景、使用的产品、业务挑战和业务收益,就可以自动生成一篇引人入胜的营销文章。几秒钟后,Amazon Q Apps 就会创建可在整个组织中与其他营销人员共享的该款应用程序。


    为了进一步帮助企业借力生成式 AI,亚马逊云科技正式宣布:Amazon Q Developer 和 Amazon Q Business 截止到6月30号免费试用,欢迎各位开发者积极尝试,共同体验 Amazon Q 的强大能力。


    创造更美好的科技未来

    亚马逊云科技全方位助力人才成长

    在开发者社区构建方面,为了让更多的开发者有机会低门槛体验到前沿的生成式 AI 服务,亚马逊云科技正式推出了云上探索实验室 CloudLab 平台,所有的开发者只需扫码进入云上探索实验室,即可在24小时之内尽情构建。同时,还有为中国开发者量身定做的课程“从基础到应用:LLM 全景培训”,在中国峰会举行期间,该课程将免费提供。


    生成式 AI 时代,构建应用有什么不一样的方法?有何种新的架构趋势?亚马逊云科技大中华区解决方案架构总经理代闻从桥梁发展历程入手,提出桥梁的发展和构建,是由基础材料,建筑架构和多元化需求三者共同作用的结果,而技术的发展往往也是如此。



    基础组件能力决定架构设计

    代闻提出,最基础的组件,例如材料、技术往往决定了我们能采用的架构。对于信息技术来说,最基础的材料就是算力。


    作为云计算行业的引领者,亚马逊云科技深知技术架构从来都不是一蹴而就的。回顾近20年的发展历史,亚马逊云科技一直持续在基础技术方面不断创新,来寻求技术上的持续突破。自2006年推出 Amazon EC2 服务以来,Amazon EC2 经历了令人瞩目的创新之路。从最初的70种实例类型增长到超过750种,亚马逊云科技在虚拟化技术和硬件加速方面正持续进步。



    此外,亚马逊云科技在处理器领域的自研之路同样引人注目。从2018年的 Amazon Graviton 到2023年的 Amazon Graviton4,亚马逊云科技充分展示了在 Graviton 的研发中,性能、能效比以及针对特定工作负载优化方面的重大进展。


    现如今,亚马逊云科技的诸多托管服务都全面采用了 Graviton 架构,如 Amazon DocumentDB、Amazon Aurora、Amazon RDS 等,这些服务不仅提高了性能,还降低了成本,为客户提供了更高的性价比。


    架构体系创新拓展核心能力


    代闻认为,构建的风险管理意识非常重要,企业在构建时,往往要面临着大量的不确定性,各种风险因素层出不穷,因此架构韧性成为了重中之重。通过单元化架构,亚马逊云科技将 IAM 拆分成细小的计算和存储单元,实现了高可用性和极小的故障影响范围。这种设计不仅保障了服务的稳定性,也使得 IAM 能够每秒处理超过10亿个 API 调用,成为全球范围内的领先服务。



    多元技术融合驱动架构创新

    代闻认为,架构创新的第三大驱动力量是多元技术融合。通过 Zero-ETL 集成,亚马逊云科技消除了数据提取、转换和加载的复杂性,使得用户可以无缝地将数据从 Amazon DocumentDB 同步到 Amazon OpenSearch Service,或者将 Amazon DynamoDB 的数据直接用于 Amazon Redshift 的分析。这种无缝集成不仅简化了数据流动,也提高了数据的价值和业务的敏捷性。


    此次峰会上,代闻宣布了以下重大发布:


    随着技术的不断进步,亚马逊云科技将继续推动架构的演进,连接我们对未来的想象。通过创新的服务和架构,突破技术壁垒,让生成式 AI 更加普惠。

    (审核编辑: 诺谨)