爱心通元NPU完成Llama 3.适应Phi-3大模型，促进人工智能大模型技术的普及
中国 爱心元智，2024年4月28日-人工智能芯片研发及基础算力平台公司，近日宣布，Meta、Microsoft先后发布了里程碑Llama 3系列和Phi-3系列模型。爱心元智的NPU工具链团队为了进一步为开发者提供更多的品尝，迅速响应，已基于AX650N平台完成 Llama 3 适应8B和Phi-3-mini模型。
Llama 3
上周五，Meta发布了Meta Llama 3系列语言模型（LLM），在测试基准中，具体包括一个8B模型和一个70B模型，Llama 3模型性能优异，在实用性和安全性评价上与市场上流行的闭源模型相当。
官方网址：https://llama.meta.com/llama3
在架构层面，Llama 3选择标准只解码（decoder-only）Transformer架构包含128KKK token词汇的分词器。Llama 3.使用超过15T的公共数据进行培训，其中5%是非英语数据，涵盖30多种语言。培训数据量为上一代Llama 2的七倍。
根据Meta的测试结果，Llama 3 8B模型在MMLU、GPQA、Humaneval等多项性能基准均超过Gemmaneval 7B和Mistral 7B Instruct，70B模型超过了著名的闭源模型Claudee Sonnnet的中间版本，谷歌的Gemini Pro 1.5与三胜两负相比。
实际上，AX650N已经完成了Llama 3 8B Int8版本的适配，如果Int4量化，每秒token的数量可以翻倍，可以满足正常的人机交流。
Phi-3
Llama 3发布后不久，竞争对手就来了，是一个可以在手机上运行的小体积模型。
本周二，微软发布了自主研发的小尺寸模型Phi-3。虽然Phi-3-mini优化到可部署在手机上，但其性能可以与Mixtral相匹配 8x7B与GPT-3.5等模型相当。微软表示，这一创新主要是使用质量更好的训练数据集。
在线DEMO：https://ai.azure.com/explore/models/Phi-3-mini-4k-instruct/version/2/registry/azureml
实际上，AX650N已经完成了Phi-3-mini Int8版本的适应性能够满足正常的人机交流。
其他成果
AX650N能在第一时间完成Llama 3.Phi-3的适应源于今年以来，相关团队悄然完成了现有NPU工具链对大语言模型的支持和调整。目前，除了Llama 除了3，Llama已经完成 2、TinyLlama、Phi-2、Qwen1.5、ChatGLM3等国内外主流开源大语言模型的适应。
开发者社区已经发布了相关成果（https://github.com/AXERA-TECH/ax-llm）欢迎尝鲜。
后续计划
今年是AIPC的第一年，爱心元智将为AIPC的常见应用提供更多的解决方案。充分发挥爱心通元NPU高效率的技术优势，实现各种有趣的大型模型的高成本本本地化部署，实现“每个人都能负担得起大型模型”，深入实践“包容性人工智能，创造更好的生活”。
关于爱心元智：
爱心元智半导体有限公司成立于2019年5月，致力于打造世界领先的人工智能感知和边缘计算芯片，服务于智能城市、智能驾驶、机器人、AR/VR等巨大的边缘和端部设备市场。公司开发了两种核心技术——爱心智能眼AI-ISP和爱心通元混合精度NPU，在过去四年中完成了四代智能芯片产品的研发和大规模生产。坚持“包容性人工智能，创造更好的生活”的使命，以“构建世界级的感知和计算平台”为愿景，致力于成为物理世界的数字入口，为不同行业提供基本的人工智能计算平台，使智能真正触手可及。