据媒体报道,美国新兴芯片初创公司Etched于6月26日发布了其首款AI芯片——Sohu。
该芯片在运行大型模型时表现出惊人的性能,其速度是行业巨头英伟达H100的20倍。即使与今年3月推出的顶级芯片B200相比,Sohu也表现出了超过10倍的优越性能。
Sohu芯片最大的突破是它直接将Transformer结构嵌入芯片中。据Etched公司负责人Uberti介绍,Sohu采用了先进的4纳米台积电制造工艺,不仅在推理性能上远远超过GPU等通用人工智能芯片,而且在能耗控制上也达到了新的高度。
对于Transformer技术来说,Sohu无疑是目前市场上最快的芯片,其性能与其他产品有显著的量级差异。值得一提的是,ChatGPT等主流人工智能产品、Claude、基于Transformer架构驱动的Gemini和Sora等。
作为世界上第一个Transformer ASICSohu的集成应用更引人注目(应用型专用集成电路)芯片。根据测试,配备8个Sohu芯片的服务器的性能可与160个H100相媲美 GPU集群。
具体来说,集成8个Sohu芯片的服务器每秒可以处理50万Llama 7B tokens,这一数据在业界是前所未有的。
Etched公司打造了这款优秀的芯片,位于美国加州的库比蒂诺,虽然成立仅两年,团队规模只有35人,但其创始人哈佛辍学生Gavin Uberti(前Octoml和前Xnor.Ai员工和Chriss) Zhu,Roberttt与资深技术专家 Wachen和前赛普拉斯半导体公司首席技术官Mark 在Ross的共同领导下,Ross成功开发了这款专为大型AI设计的芯片,展示了其强大的技术实力和无限的潜力。