Kog正在深入研究，从图形处理器中榨取更多推论

更快的人工智能推理竞赛正在进行，Cerebras及其专门制造的芯片在5月份首次公开募股时受到了市场的热烈欢迎。但法国初创公司Kog押注传统的图形处理器将有更多的能力被挤出。该初创公司于5月份登上了黑客新闻头版，其技术预览旨在证明“在企业已经拥有的标准数据中心图形处理器上可以实现极快的单请求解码”--例如它用于演示的AMD MI 300 X和Nvidia H200图形处理器。一些人对这一点没有扩展到我们笔记本电脑中的图形处理器感到失望，但其他人看到了它的潜力。由于推理速度和成本现在成为一个关键瓶颈，Kog承诺通过软件优化在现有硬件上解锁新功能，吸引的不仅仅是旁观者。“我们有200个有形的业务线索，”首席执行官Gaël Delalleau告诉TechCrunch。根据早期的反馈，这位独立创始人预计软件工程将成为第一个用例。资深的克劳德代码用户都很清楚，他们有时不得不等待几个小时才能得到结果。Anthropic本身明白速度物有所值，并对Claude的快速模式收取了好几倍的价格。Kog希望瞄准因这些延迟而推迟的客户，通常是因为他们依赖人工智能工作流程来完成专业任务。但Delalleau表示，该初创公司还拥有设计合作伙伴，让用户在提示下生成游戏和应用程序，对于他们来说，借助Kog推理引擎（KIE）更快的结果将意味着更多的收入。该公司意识到这个市场还不太成熟。在观察需求时，Kog了解到其潜在客户不准备对小型型号进行微调。“这就是为什么自推出以来，我们一直全力专注于加速开发更大型号，以满足我们所看到的需求。”这让Kog在兑现“LLM推理速度加快30倍”的承诺方面实现了巨大的飞跃。它的演示展示了令人印象深刻的每秒3,000个请求令牌（TPS）-但有一个目的

注：以上内容摘选自原始新闻，点击「访问原文」查看完整内容。