Character.AI 提升 AI 推理效率，成本降低 33 倍
realtime news Jun 21, 2024 02:34
Character.AI 宣布在 AI 推理技术方面取得重大突破，自上线以来服务成本降低了 33 倍，使大语言模型 (LLM) 更具可扩展性和成本效益。
Character.AI 是一家全栈 AI 公司，最近推出了一系列在 AI 推理技术方面的突破性进展。根据 Character.AI 的一篇博客文章，这些创新将使大语言模型（LLM）更加高效和具有成本效益。
推理技术的突破
Character.AI 旨在朝向通用人工智能 (AGI) 迈进，专注于优化推理过程——LLM 生成响应的方法。公司开发了围绕 Transformer 架构和“attention KV cache”的新技术，在文本生成过程中增强了数据存储和检索。这些进步也显著提高了轮次缓存的性能。
Character.AI 声称其每秒可处理约 20,000 次查询，占 Google 搜索请求量的 20%，每小时对话成本不到一美分。通过他们的专有创新实现了这种效率，使得全球扩展 LLM 变得更加便宜。
成本效率成就
自 2022 年上线以来，Character.AI 已经至少将其服务成本降低了 33 倍。公司的当前流量服务成本比使用最高效的领先商业 API 低 13.5 倍。这种成本效率对于消费者 LLM 的可扩展性至关重要。
如果一家 AI 公司要为 1 亿日活跃用户每人每天使用一小时提供服务，以现行每小时0.01美元的成本计算，年服务成本将达到 3.65 亿美元。相比之下，使用领先商业 API 的竞争对手每年的成本至少为 47.5 亿美元。这些数字凸显了 Character.AI 推理改进带来的显著商业优势。
未来影响
推理效率的提高不仅使得将 LLM 扩展到全球观众成为可能，还为创建盈利的商业对消费者 (B2C) AI 企业铺平了道路。Character.AI 将继续在这些创新上进行迭代，旨在使其先进技术对全球消费者可用。
欲了解更多详细信息，您可以在 这里 阅读完整的技术博客文章。
Image source: Shutterstock