拿CPU搞AI推理,谁给你的底气?
文章来源:量子位 | 公众号 QbitAI金磊 梦晨 发自 凹非寺 图片来源:由无界AI生成 大模型的训练阶段我们选择GPU,但到了推理阶段,我们果断把CPU加到了菜单上。 量子位在近期与众多行业人士交流过程中发现,他们中有很多人纷纷开始传递出上述的这种观点。 无独有偶,Hugging Face在官方优化教程中,也有数篇文章剑指“如何用CPU高效推理大模型”: 而且细品教程内容后不难发现,这种用CPU加速推理的方法,所涵盖的不仅仅是大语言模型,更是涉猎到了图像、音频等形式的多模态大模型。 不仅如...
阅读更多微软“去OpenAI化”引发高层洗牌:必应CEO被DeepMind联创挤跑!纳德拉会见Stable Diffusion老板
微软高层大变动。 一切都由纳德拉任命新AI主管引发。 这不,上周DeepMind联创苏莱曼刚成为微软全新AI部门CEO—— 这周,必应负责人就突然被宣布:卸任了。
阅读更多