爱芯通元NPU完成Llama 3和Phi-3大模型适配,推动AI大模型技术应用普及

2024-04-28
关注

爱心元智,人工智能芯片研发及基本计算平台公司,近日宣布,Meta、Microsoft先后发布了里程碑Llama 3系列和Phi-3系列模型。爱心元智NPU工具链团队为了进一步为开发者提供更多的品尝,迅速响应,基于AX650N平台完成 Llama 3 适应8B和Phi-3-mini模型。

Llama 3

上周五,Meta发布了Meta Llama 3系列语言模型(LLM),在测试基准中具体包括8B模型和70B模型,Llama 3模型性能优异,在实用性和安全性评价上与市场上流行的闭源模型相当。

官方网址:https://llama.meta.com/llama3

在架构层面,Llama 3选择标准只解码(decoder-only)Transformer架构包含128KKK token词汇表的分词器。Llama 3.使用超过15T的公共数据进行培训,其中5%是非英语数据,涵盖30多种语言。培训数据量为上一代Llama 2的七倍。

根据Meta的测试结果,Llama 3 MMLU有8B模型、GPQA、Humaneval等多项性能基准均超过Gemmaneval 7B和Mistral 7B Instruct,70B模型超过了著名的闭源模型Claudee Sonnnet的中间版本,谷歌的Gemini Pro 1.5与三胜两负相比。

实际上,AX650N已经完成了Llama 3 8B Int8版本的适配,如果Int4量化,每秒token的数量可以翻倍,可以满足正常的人机交流。

Phi-3

Llama 3发布后不久,竞争对手就来了,是一个可以在手机上运行的小体积模型。

本周二,微软发布了自主研发的小尺寸模型Phi-3。虽然Phi-3-mini优化到可部署在手机上,但其性能可以与Mixtral相匹配 8x7B与GPT-3.5等模型相当。微软表示,这一创新主要是使用质量更好的训练数据集。

在线DEMOhttps://ai.azure.com/explore/models/Phi-3-mini-4k-instruct/version/2/registry/azureml

实际上,AX650N已经完成了Phi-3-mini Int8版本的适应性能够满足正常的人机交流。

其他成果

AX650N能在第一时间完成Llama 3.Phi-3的适应源于今年以来,相关团队悄然完成了现有NPU工具链对大语言模型的支持和调整。目前,除了Llama 除了3,Llama已经完成 2、TinyLlama、Phi-2、Qwen1.5、适应ChatGLM3等国内外主流开源大语言模型。

相关成果已释放到开发者社区(https://github.com/AXERA-TECH/ax-llm)欢迎尝鲜。

后续计划

今年是AIPC的第一年,爱心元智将为AIPC的常见应用提供更多的解决方案。充分发挥爱心通元NPU高效率的技术优势,实现各种有趣的大型模型的高成本本本地化部署,实现“每个人都能负担得起大型模型”,深入实践“包容性人工智能,创造更好的生活”。

关于爱心元智:

爱心元智半导体有限公司成立于2019年5月,致力于打造世界领先的人工智能感知和边缘计算芯片,服务于智能城市、智能驾驶、机器人、AR/VR等巨大的边缘和端部设备市场。公司自主研发了爱心智能眼睛AI-ISP和爱心通元混合精度NPU两项核心技术,在过去四年中完成了四代以上智能芯片产品的研发和批量生产。坚持“包容性人工智能,创造更好的生活”的使命,以“构建世界级的感知和计算平台”为愿景,致力于成为物理世界的数字入口,为不同行业提供基本的人工智能计算平台,使智能真正触手可及。

您觉得本篇内容如何
评分

相关产品

CSMS 中科微感 人工智能+嗅觉传感器(AI-Nose) 气体传感器

中科微感逐步攻克了制约人工嗅觉传感发展的核心材料、硬件、算法等技术,开发出了以新型纳米敏感材料为基础,以微纳加工技术为支撑,以人工智能算法为核心的第一代 MEMS 基金属氧化物半导体原理的人工嗅觉传感器产这一产品将解决当前制约人工智能嗅觉技术与市场应用发展的关键问题:提供量产化的高一致、低成本、微型化的嗅觉传感器阵列硬件,以及提供标准化的人工智能+嗅觉气味感知软件平台,使客户能够快速构建和应用气味数据模型

XKCON 祥控 弹药库环境温湿度异常报警与智能监控系统 温湿度变送器

济南祥控自动化设备有限公司自主研发的XKCON祥控弹药库环境温湿度异常报警与智能监控系统采用物联网、传感器、大数据、人工智能等先进技术,能够对弹药库环境温湿度信息实现数字化、可视化管理。

山东美安 矿山电机车防追尾道岔口报警器 控制器及系统

煤矿用机车防追尾保护装置 机车防追尾保护装置是一种矿用人工智能保护装置、具有防追尾保护、无线触发沿途弯道语言保护、输出控制并记录等功能可广泛的使用在矿山井下、井上的运输机车上。

KEYENCE 基恩士 AI-1000C 图像匹配传感器

因此,人工智能系列能够在模式匹配的基础上对物体进行稳定的检测和识别,而这是基于强度或距离的传感器难以实现的。 基于强度或距离的传感器难以实现。

云传物联 水质生态浮标浮台在线测系统 多参数监测系统

电子水质监测解决方案利用信息控制与处理、人工智能、自动化、物联网及多媒体等技术,集水质参数在线采集、无线传输、智能处理、超限报警、远程管理等功能于一体的水质监测解决方案。

大立科技 DM60-W3 红外体温快速筛检

红外热成像体温快速筛检系统DM60-W3系列为384*288/640*480像素,人工智能算法,远距离、大场景测温更精准。

Handsome 翰德圣 HDSELM V1.1 安全传感器和系统

设备全生命周期管理平台融合的物联网、云计算、大数据、人工智能、优化制造、再制造六项主流技术,通过云端模块化的架构可为企业灵活管理设备,不仅可以随时随地了解设备运行状态、发现故障隐患,还能够通过大数据分析指导企业维修

上海自连电子 自连ALXB15i网桥 智能终端

自连科技是国内领先的物联网软硬件技术方案提供商,主要提供物联网智能部件、智能终端、智能传感设备、中间件套件、云接入技术、数智云平台等多元化产品。建立了AiDK、AiSDK、AiDMS和AiCloud 4大核心智能物联技术平台。具有丰富的无线连接、组网及传感技术、超1公里远距离无线通信技术、高带宽无线通信技术、精准室内位置定位技术、低功耗人工智能AI技术等核心能力。

清大菲恩 PR3000 全自动压力检定系统

作为国内首创的高科技产品,菲恩全自动压力检定系统,将人工智能(AI)技术成功地应用在计量检定产品中,它采用了当代最新数字图像识别技术(即人工视觉)和精确的数字化压力控制技术,使压力表的检定工作实现了全过程的自动化我公司推出的PR3000全自动压力检定系统,采用高分辨率工业数字摄像机代替人眼获取图像数据,用独创的先进计算机算法进行分析识别,从而使人们永远地告别了传统的人工肉眼读表过程,不仅极大地减轻了人工劳动的强度全部由电脑自动控制的精确造压功能,在减轻人工体力消耗的同时,使得加压过程的操作变得十分简便和精确。

评论

您需要登录才可以回复|注册

提交评论

提取码
复制提取码
点击跳转至百度网盘