爱芯通元NPU完成Llama 3和Phi-3大模型适配,推动AI大模型技术应用普及

2024-04-29
关注

爱心元智,人工智能芯片研发及基本计算平台公司,近日宣布,Meta、Microsoft先后发布了里程碑Llama 3系列和Phi-3系列模型。爱心元智NPU工具链团队为了进一步为开发者提供更多的品尝,迅速响应,基于AX650N平台完成 Llama 3 适应8B和Phi-3-mini模型。

 

Llama 3

上周五,Meta发布了Meta Llama 3系列语言模型(LLM),在测试基准中具体包括8B模型和70B模型,Llama 3模型性能优异,在实用性和安全性评价上与市场上流行的闭源模型相当。

 

官方网址:https://llama.meta.com/llama3

在架构层面,Llama 3选择标准只解码(decoder-only)Transformer架构包含128KKK token词汇表的分词器。Llama 3使用15T以上的公共数据进行训练,其中5%是非英语数据,涵盖30多种语言。训练数据是前代Llama 2的七倍。

 

根据Meta的测试结果,Llama 3 8B模型在MMLU、GPQA、Humaneval等多项性能基准均超过Gemmaneval 7B和Mistral 7B Instruct,70B模型超过了著名的闭源模型Claudee Sonnnet的中间版本,谷歌的Gemini Pro 1.5与三胜两负相比。

 

 

实际上,AX650N已经完成了Llama 3 8B Int8版本的适配,如果Int4量化,每秒token的数量可以翻倍,可以满足正常的人机交流。

 

Phi-3

Llama 3发布后不久,竞争对手就来了,是一个可以在手机上运行的小体积模型。

 

本周二,微软发布了自主研发的小尺寸模型Phi-3。虽然Phi-3-mini优化到可部署在手机上,但其性能可以与Mixtral相匹配 8x7B与GPT-3.5等模型相当。微软表示,这一创新主要是使用质量更好的训练数据集。

 

在线DEMO:https://ai.azure.com/explore/models/Phi-3-mini-4k-instruct/version/2/registry/azureml

 

实际上,AX650N已经完成了Phi-3-mini Int8版本的适应性能够满足正常的人机交流。

 

其他成果

AX650N能在第一时间完成Llama 3.Phi-3的适应源于今年以来,相关团队悄然完成了现有NPU工具链对大语言模型的支持和调整。目前,除了Llama 除了3,Llama已经完成 2、TinyLlama、Phi-2、Qwen1.5、ChatGLM3等国内外主流开源大语言模型的适应。

 


相关成果已释放到开发者社区(https://github.com/AXERA-TECH/ax-llm)欢迎尝鲜。

 

后续计划

今年是AIPC的第一年,爱心元智将为AIPC的常见应用提供更多的解决方案。充分发挥爱心通元NPU高效率的技术优势,实现各种有趣的大型模型的高成本本本地化部署,实现“每个人都能负担得起大型模型”,深入实践“包容性人工智能,创造更好的生活”。


您觉得本篇内容如何
评分

评论

您需要登录才可以回复|注册

提交评论

提取码
复制提取码
点击跳转至百度网盘