亚马逊云科技成功助力TII训练400亿参数规模的大语言模型Falcon 40B

2023-06-09
关注

Hugging Face 开源大语言模型排行榜上排名第一的Falcon 40B现已在Amazon SageMaker JumpStart上可用,让客户更便利地利用这一模型快速构建生成式AI应用程序。

6月7日 -- 亚马逊云科技今日宣布,位于阿联酋首都阿布扎比的全球领先科研中心TII(Technology Innovation Institute)在亚马逊云科技上训练了其性能卓越的开源模型Falcon 40B。Falcon 40B是拥有400 亿参数的大语言模型(LLM),在Apache 2.0许可下提供,并在Hugging Face的开源大语言模型排行榜上位列榜首。该排行榜在多个基准测试中跟踪、排名和评估大语言模型,最终评选出最佳模型。客户现在可以将Falcon 40B部署在Amazon SageMaker JumpStart上,这是一个机器学习中心,提供预训练模型,使客户无需从头构建自己的模型即可获得Falcon 40B最先进的准确性和行业领先的性能。要开始使用Amazon SageMaker JumpStart,请访问aws.amazon.com/sagemaker/jumpstart。

大语言模型是机器学习(ML)模型的一个分支,专注于语言领域,可以支持各类生成式AI应用,包括文本处理、总结摘要和会话问答。虽然这些大语言模型具有改变行业的潜力,但构建、训练和部署大语言模型可能需要数周甚至数月的时间,并耗资数千万美元,这将许多公司拒之门外。为了在整个开发过程中实现更好的性能和成本效益,包括Stability AI、AI21 Labs、Hugging Face和LG AI在内的众多客户使用亚马逊云科技端到端的机器学习服务Amazon SageMaker来构建、训练和部署他们的大语言模型。

这也正是TII使用Amazon SageMaker构建其Falcon 40B模型的原因。得益于SageMaker是一项完全托管的服务,TII可以专注于开发自定义的训练机制和优化功能,而无需管理其机器学习基础设施。为了最大限度地降低训练成本并缩短上市时间,TII采取了多项优化措施,包括编写自定义矩阵乘法以加快训练速度。在整个训练过程中,亚马逊云科技还与TII密切合作以利用SageMaker增强可用性,确保训练顺利进行,减少对开发人员的干扰。

TII于2023年5月在Apache 2.0许可下发布了其Falcon 40B模型。自发布以来,Falcon 40B 在各种基准测试中的表现都优于当下的同类模型,展示了无需专门微调的卓越性能。为了让客户更轻松地访问该模型,亚马逊云科技让Falcon 40B可以通过Amazon SageMaker Jumpstart部署。现在,各个行业、各种规模的客户都可以快速轻松地部署自己的Falcon 40B模型,并对其进行定制以满足他们的特定需求,如翻译、问答、信息总结、图像识别等应用程序。

"Falcon 40B的开源版本使机构能够利用其卓越性能来推动AI赋能的解决方案的发展。这是我们致力于促进 AI 创新的重要里程碑,也体现阿联酋深远的科学贡献。"TII跨AI研究中心执行总监兼LLM项目负责人表示,"通过将Falcon大语言模型开源,我们希望将这一先进的技术能力普惠化,为全球研究人员和组织赋能。下一步,我们即将推出新模型,为人工智能和先进技术领域的进一步发展做出贡献。"

关于亚马逊云科技

自2006年以来,亚马逊云科技(Amazon Web Services)一直以技术创新、服务丰富、应用广泛而享誉业界。亚马逊云科技一直不断扩展其服务组合以支持几乎云上任意工作负载,目前提供超过200项全功能的服务,涵盖计算、存储、数据库、网络、数据分析、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体,以及应用开发、部署与管理等方面;基础设施遍及31个地理区域的99个可用区,并已公布计划在加拿大、以色列、马来西亚、新西兰和泰国新建5个区域、15个可用区。全球数百万客户,包括发展迅速的初创公司、大型企业和领先的政府机构,都信赖亚马逊云科技,通过亚马逊云科技的服务支撑其基础设施,提高敏捷性,降低成本。要了解更多关于亚马逊云科技的信息,请访问: www.amazonaws.cn。

稿源:美通社

您觉得本篇内容如何
评分

相关产品

Woosens 沃感科技 WMC 系列 电子罗盘

WOOSENS WMC系列三维电子罗盘采用了先进的 算法对模组进行了软磁和硬磁校正,提供了精确的方位 信息。模组的输出信息表示了模组当前的姿态位置,可 以用于需要360°旋转的系统当中。WMC系列电子罗盘将 三轴磁传感,三轴倾斜传感集成到一起。由于小巧的体 积, 非常适合空间要求高的系统。这些优点都使 WOOSENS WMC系列三维电子罗盘成为众多高精度, 高性能应用的选择。 WMC系列三维电子罗盘提供了灵活方便的命令设置。许多参数都是用户可编程的。我们希望 WMC系列三维电子罗盘能帮助您的目标系统实现最好的性能。

忻成科技 SDP191 气体分析

忻成科技 SDP191在线显示、报警露点仪

汉威科技 A3 空气检测

空气电台A3是由河南威果智能科技有限公司出品的空气质量检测系列产品,配合“空气电台”、“威果智家”客户端使用。…

Winsen 炜盛科技 MR007 气体传感器

抗硫化氢和有机硅干扰性能好,可用于天然气、液化气、煤气等可燃性气体的浓度检测

灵途科技 DTS1550-30 电源

灵途科技光纤测温1550nmDTS拉曼测温发射光源模块适用于DTS光纤测温,激光测距,光纤传感系统,激光雷达

松诺盟科技 ST 系列 扭矩传感器

松诺盟科技 ST 系列 扭矩传感器

迷思科技 TUB100A01 压力传感芯片

迷思科技 TUB100A01 压力传感芯片

MDT 多维科技 GE-A 弦波增量式

多维科技 GE-A 齿轮磁编码器

镁汇科技 MH-Sensor 气体传感器

镁汇科技 MH-Sensor 光离子PID气体传感器(可替代进口)

评论

您需要登录才可以回复|注册

提交评论

提取码
复制提取码
点击跳转至百度网盘