ens
NVIDIA H100 GPUs 和 TensorRT-LLM 实现 Mixtral 8x7B 的突破性性能
NVIDIA 的 H100 Tensor Core GPU 和 TensorRT-LLM 软件展示了 Mixtral 8x7B 模型在 FP8 精度下的破纪录性能。
Mask Network 和 Lens Protocol 关于去中心化社交网络的关键见解
Mask Network 的 Suji Yan 和 Lens Protocol 的 Stani Kulechov 在 ETHCC 上讨论了去中心化社交网络的未来。
NVIDIA TensorRT-LLM 提升希伯来语 LLM 性能
NVIDIA 的 TensorRT-LLM 和 Triton Inference Server 优化了希伯来语大型语言模型的性能,克服了独特的语言挑战。
NVIDIA发布TensorRT Model Optimizer v0.15,提升推理性能
NVIDIA发布了TensorRT Model Optimizer v0.15版本,通过缓存扩散和扩大AI模型支持等新功能提升推理性能。
使用 NVIDIA Triton 和 TensorRT-LLM 在 Kubernetes 上增强大型语言模型
探索 NVIDIA 使用 Triton 和 TensorRT-LLM 优化大型语言模型的方法,同时在 Kubernetes 环境中高效地部署和扩展这些模型。
NVIDIA 的 TensorRT-LLM 多模块注意力在 HGX H200 上提升 AI 推理性能
NVIDIA 的 TensorRT-LLM 引入多模块注意力,显著提升了 HGX H200 上的 AI 推理吞吐量,提升幅度高达 3.5 倍,解决了长序列长度的挑战。
BitMEX 结算 P_GENSLERM26 合约,因 SEC 主席辞职
BitMEX 已确认在 SEC 主席 Gary Gensler 辞职后,P_GENSLERM26 合约以 100% 结算,生效日期为 2024 年 11 月 25 日。
ENS Labs 与 Linea 合作推动 Layer 2 扩展
ENS Labs 与 Linea 合作在 Layer 2 上发布 Namechain,增强去中心化身份系统的可扩展性和性能。该合作关系利用了 Linea 的 zkEVM 架构。
NVIDIA使用TensorRT-LLM提升Llama 3.3 70B模型性能
了解NVIDIA的TensorRT-LLM如何利用先进的推测解码技术将Llama 3.3 70B模型推理吞吐量提升3倍。
NVIDIA TensorRT-LLM 在飞行批处理中增强编码器-解码器模型
NVIDIA 的 TensorRT-LLM 现在支持具有飞行批处理功能的编码器-解码器模型,为 AI 应用提供优化的推理。探索 NVIDIA GPU 上生成式 AI 的增强功能。
NVIDIA通过TensorRT-LLM中的ReDrafter支持增强LLM推理
NVIDIA的TensorRT-LLM现在支持Apple的ReDrafter,通过投机解码优化大语言模型推理,在NVIDIA GPU上提供显著的性能提升。
全球最大食品公司雀巢宣布进行区块链溯源平台试点
雀巢,作为全球最大食品公司和在2017年福布斯全球500强排名64的巨头,刚刚发布新闻表示。它们将于OpenSC合作,推出创新的区块链平台,该平台允许消费者追溯食品的来源。雀巢成为食品巨头中第一个宣布试点开放区块链技术的公司。雀巢公司将持续推进供应链的透明度。