Character.AI 提升 AI 推理效率,成本降低 33 倍
realtime news Jun 21, 2024 02:34
Character.AI 宣布在 AI 推理技术方面取得重大突破,自上线以来服务成本降低了 33 倍,使大语言模型 (LLM) 更具可扩展性和成本效益。
![Character.AI 提升 AI 推理效率,成本降低 33 倍](https://image.blockchain.news:443/features/DC3788979712BF4DFF603597AAC46E7C52F8B5EF76BC21453D757F37CDB271FE.jpg)
Character.AI 是一家全栈 AI 公司,最近推出了一系列在 AI 推理技术方面的突破性进展。根据 Character.AI 的一篇博客文章,这些创新将使大语言模型(LLM)更加高效和具有成本效益。
推理技术的突破
Character.AI 旨在朝向通用人工智能 (AGI) 迈进,专注于优化推理过程——LLM 生成响应的方法。公司开发了围绕 Transformer 架构和“attention KV cache”的新技术,在文本生成过程中增强了数据存储和检索。这些进步也显著提高了轮次缓存的性能。
Character.AI 声称其每秒可处理约 20,000 次查询,占 Google 搜索请求量的 20%,每小时对话成本不到一美分。通过他们的专有创新实现了这种效率,使得全球扩展 LLM 变得更加便宜。
成本效率成就
自 2022 年上线以来,Character.AI 已经至少将其服务成本降低了 33 倍。公司的当前流量服务成本比使用最高效的领先商业 API 低 13.5 倍。这种成本效率对于消费者 LLM 的可扩展性至关重要。
如果一家 AI 公司要为 1 亿日活跃用户每人每天使用一小时提供服务,以现行每小时0.01美元的成本计算,年服务成本将达到 3.65 亿美元。相比之下,使用领先商业 API 的竞争对手每年的成本至少为 47.5 亿美元。这些数字凸显了 Character.AI 推理改进带来的显著商业优势。
未来影响
推理效率的提高不仅使得将 LLM 扩展到全球观众成为可能,还为创建盈利的商业对消费者 (B2C) AI 企业铺平了道路。Character.AI 将继续在这些创新上进行迭代,旨在使其先进技术对全球消费者可用。
欲了解更多详细信息,您可以在 这里 阅读完整的技术博客文章。
Image source: Shutterstock