llm
Character.AI 提升 AI 推理效率，成本降低 33 倍
Character.AI 宣布在 AI 推理技术方面取得重大突破，自上线以来服务成本降低了 33 倍，使大语言模型 (LLM) 更具可扩展性和成本效益。
Oracle 推出 HeatWave GenAI 的数据库内 LLM 和自动向量存储功能
Oracle 的 HeatWave GenAI 现在提供数据库内 LLM 和自动向量存储功能，使生成式 AI 应用无需 AI 专业知识或额外成本。
NVIDIA H100 GPUs 和 TensorRT-LLM 实现 Mixtral 8x7B 的突破性性能
NVIDIA 的 H100 Tensor Core GPU 和 TensorRT-LLM 软件展示了 Mixtral 8x7B 模型在 FP8 精度下的破纪录性能。
NVIDIA和Meta合作推出Llama 3.1和NeMo Retriever NIMs的先进RAG管道
NVIDIA和Meta推出了可扩展的代理RAG管道，配备Llama 3.1和NeMo Retriever NIMs，优化了LLM性能和决策能力。
Codestral Mamba：NVIDIA 下一代代码 LLM 革新代码补全
NVIDIA 的 Codestral Mamba，基于 Mamba-2 架构，使用先进的 AI 技术革新了代码补全，提升了编程效率。
NVIDIA 推出 NeMo Curator，用于定制 LLM 数据集的高效微调
NVIDIA 的 NeMo Curator 提供了一种简化的方法，通过定制数据集微调大型语言模型 (LLM)，优化机器学习工作流程。
LangGraph v0.2 通过新检查点器库增强定制功能
LangGraph v0.2 引入了新的检查点器库，包括 SQLite 和 Postgres 选项，以增强大型语言模型 (LLM) 应用的定制性和弹性。
NVIDIA TensorRT-LLM 提升希伯来语 LLM 性能
NVIDIA 的 TensorRT-LLM 和 Triton Inference Server 优化了希伯来语大型语言模型的性能，克服了独特的语言挑战。
Circle 和 Berkeley 利用 AI 进行区块链交易的 TXT2TXN
Circle 和 Blockchain at Berkeley 推出了 TXT2TXN，这是一款使用大型语言模型的 AI 驱动工具，通过基于意图的应用简化区块链交易。
NVIDIA的Blackwell平台在MLPerf Inference v4.1中打破新记录
NVIDIA的Blackwell架构在MLPerf Inference v4.1中设立了新的基准，展示了在LLM推理方面显著的性能提升。
AMD Radeon PRO GPU和ROCm软件扩展LLM推断能力
AMD的Radeon PRO GPU和ROCm软件使小型企业能够利用包括Meta的Llama模型在内的高级AI工具，用于各种业务应用。
LangGraph.js v0.2 增强JavaScript代理，支持云和Studio
LangChain发布LangGraph.js v0.2，新增构建和部署JavaScript代理的功能，包括对LangGraph Cloud和LangGraph Studio的支持。
Ollama 实现 Llama 3.2 在 AMD GPU 上的本地运行
Ollama 使本地在 AMD GPU 上运行 Meta 的 Llama 3.2 模型变得更加容易，支持 Linux 和 Windows 系统。
创新的 LoLCATs 方法提升 LLM 的效率和质量
Together.ai 引入了 LoLCATs，这是一种用于线性化 LLM 的新方法，提升了效率和质量。该方法有望在 AI 模型开发中带来显著改进。
使用 NVIDIA Triton 和 TensorRT-LLM 在 Kubernetes 上增强大型语言模型
探索 NVIDIA 使用 Triton 和 TensorRT-LLM 优化大型语言模型的方法，同时在 Kubernetes 环境中高效地部署和扩展这些模型。