Mistral AI 推出新的审核 API 以增强内容安全
realtime news Nov 07, 2024 17:36
Mistral AI 推出了一种新的审核 API，旨在通过可扩展和稳健的基于大型语言模型（LLM）的系统改善内容安全，支持多种语言以满足多样化的应用。
Mistral AI宣布推出其新的审核API，这是一种旨在增强内容管理系统安全性和可扩展性的工具。根据Mistral AI的说法，该API旨在使用户能够检测各种政策维度的不良文本内容。
增强的安全措施
审核API建立在支持Mistral AI的Le Chat平台中的审核服务的相同框架之上。它为用户提供了一个灵活的工具，可以根据特定的安全标准和应用需求进行定制。随着对基于大型语言模型（LLM）的审核系统需求的增长，Mistral AI的提供旨在提供一种可扩展和稳健的解决方案。
多语言能力
该API具有一个LLM分类器，能够将文本输入分类为九个不同的类别。它包括用于原始文本和会话内容的端点，使其能够在特定会话上下文中分类消息。该模型支持多种语言，包括阿拉伯语、中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语，适合全球观众使用。
关注政策相关性
内容审核分类器集成了相关的政策类别，以建立有效的防护措施，防止潜在的危害，如不合格的建议和个人身份信息（PII）的曝光。Mistral AI对LLM安全性的处理既务实又全面，解决了不同环境中不良内容的复杂性。
性能和协作
Mistral AI共享了包括在内部测试的政策的精度-召回曲线下面积（AUC PR）在内的性能指标。公司致力于与客户和更广泛的研究社区合作，改进和扩展其审核工具，为人工智能领域的安全进展做出贡献。
此次发布是Mistral AI持续努力的一部分，旨在提供轻量化和可定制的审核解决方案，能够适应行业不断变化的需求。
Image source: Shutterstock