利用人工智能推进神经科学研究：IIT Madras和NVIDIA的创新方法
realtime news Nov 21, 2024 04:19
IIT Madras 脑中心与 NVIDIA 合作，利用人工智能通过视觉问答和多模态检索来革命性地提高脑成像分析，为神经科学研究带来突破性进展。
印度理工学院马德拉斯分院（IIT Madras）脑中心通过采用先进的人工智能（AI）技术，处于神经科学研究的前沿。据 NVIDIA 最近一份报告显示，该脑中心与 NVIDIA 合作，利用视觉问答（VQA）和多模态检索技术来提高脑成像数据的可访问性和分析能力。
神经科学知识探索框架
IIT Madras 开发的创新框架可以让研究人员将脑成像数据与最新的神经科学研究联系起来。通过集成 VQA 模型和大型语言模型（LLMs）的一体化处理流程来实现。该框架使研究人员能够探索与特定脑区和状况相关的进展，为理解脑结构和功能提供了新的维度。
这一过程的关键在于摄取和问答部分。在摄取阶段，将神经科学出版物索引到知识库中，而在问答阶段，用户可以通过检索增强生成（RAG）管道与知识库进行交互，筛选和检索相关内容。这种多模态交互增强了研究洞察的深度和准确性。
视觉问答和多模态检索
该框架允许用户输入脑区图像并查询其特定细节。先进的 VQA 模型，如 Llava-Med，被用来提供详细答案。这一能力通过仍在开发中的图像到图像检索功能进一步扩展，旨在允许基于视觉相似性的搜索。
利用 NVIDIA 技术
NVIDIA 的技术栈是该框架成功的关键。像 NVIDIA NeMo Retriever 和 NeMo Guardrails 这样的工具增强了检索准确性并确保用户生成内容的相关性。该框架利用经过微调的嵌入模型，使检索准确性提高了 15% 以上。此外，NVIDIA 的基础设施支持高效的推理速度，对于同时处理多个用户查询至关重要。
NVIDIA 的多模态 PDF 数据提取 AI 蓝图进一步补充了这一框架，能够准确解析神经科学出版物，从而丰富可用于分析的数据。
应用和影响
该框架应用实例包括从图像中识别脑区和检索类似的组织样本。这一能力有望通过提供精确和可访问的数据分析来推动神经科学研究的发展，可能在理解复杂脑功能和状况方面取得突破。
通过此次合作，IIT Madras 和 NVIDIA 不仅在推动神经科学研究的边界，还通过使复杂数据更可访问和易于理解，为生命拯救性的发现铺平了道路。
欲了解更多信息，请访问NVIDIA 博客。
Image source: Shutterstock