LLM 不错比科学家更准确地瞻望神经学的参议成果！第四色se999se
最近，来自伦敦大学学院、剑桥大学、牛津大学等机构的团队发布了一个神经学专用基准BrainBench，登上了 Nature 子刊《当然东谈主类行为（Nature human behavior）》。
成果表露，过程该基准教化的 LLM 在瞻望神经科学成果的准确度方面高达81.4%，远超东谈主类群众的 63%。
在神经学常见的 5 个子领域：行为 / 知道、细胞 / 分子、系统 / 回路、神经疾病的神经生物学以及发育 / 塑性和成就中，LLM 的瓦解也王人全场所逾越了东谈主类群众。
更要紧的是，这些模子被阐明关于数据莫得较着的顾虑。
也即是说，它们依然掌执了一般科研的宽绰形式，不错作念更多的前瞻性（Forward-looking）瞻望、瞻望未知的事物。
这立马激发科研圈的围不雅。
多位老师和博士后博士后也暗意，以后就不错让 LLM 帮衬判断更多参议的可行性了，nice！
LLM 瞻望才能全面卓绝东谈主类群众
让咱们先来望望论文的几个要紧论断：
总体成果：LLMs 在 BrainBench 上的平均准确率为 81.4%，而东谈主类群众的平均准确率 63.4%。LLMs 的瓦解权贵优于东谈主类群众
子领域瓦解：在神经科学的几个要紧的子领域：行为 / 知道、细胞 / 分子、系统 / 回路、神经疾病的神经生物学以及发育 / 塑性和成就中，LLMs 在每个子领域的瓦解均优于东谈主类群众，绝顶是在行为知道和系统 / 回路领域。
模子对比：较小的模子如 Llama2-7B 和 Mistral-7B 与较大的模子瓦解非常，而聊天或提示优化模子的瓦解不如其基础模子。
东谈主类群众的瓦解：大宽绰东谈主类群众是博士学生、博士后参议员或教职职工。当限制东谈主类反应为自我瓦解专科常识的最高 20% 时第四色se999se，准确率高潮到 66.2%，但仍低于 LLMS。
置信度校准：LLMs 和东谈主类群众的置信度王人校准致密，图片专区高置信度的瞻望更有可能是正确的。
顾虑评估：莫得迹象标明 LLMs 顾虑了 BrainBench 面容。使用 zlib 压缩率和困惑度比率的分析标明，LLMs 学习的是等闲的科学形式，而不是顾虑教化数据。
全新神经学基准
本论文的一个要紧孝敬，即是提议了一个前瞻性的基准测试BrainBench，不错专诚用于评估 LLM 在瞻望神经科学成果方面的才能。
那么，具体是怎样作念到的呢？
数据网罗
率先，团队诓骗 PubMed 获得了 2002 年至 2022 年间 332807 篇神经科学参议关系的节录，从 PubMed Central Open Access Subset（PMC OAS）中索取了 123085 篇全文著述，共计 13 亿个 tokens。
评估 LLM 和东谈主类群众
av女星其次，在上头网罗的数据的基础上，团队为 BrainBench 创建了测试用例，主要通过修改论文节录来兑现。
具体来说，每个测试用例包括两个版块的节录：一个是原始版块，另一个是过程修改的版块。修改后的节录会权贵转换参议成果，但保持全体连贯性。
测试者的任务是遴选哪个版块包含本色的参议成果。
团队使用 Eleuther Al Language Model EvaluationHaress 框架，让 LLM 在两个版块的节录之间进行遴选，通过困惑度（perplexity）来测度其偏好。困惑度越低，暗意模子越心爱该节录。
对东谈主类群众行为的评估亦然在疏通测试用例上进行遴选，他们还需要提供自信度和专科常识评分。最终参与履行的神经科学群众有 171 名。
履行使用的 LLM 是过程预教化的 Mistral-7B-v0.1 模子。通过 LoRA 工夫进行微调后，准确度还能再加多 3%。
评估 LLM 是否纯顾虑
为了测度 LLM 是否掌执了念念维逻辑，团队还使用 zlib 压缩率和困惑度比率来评估 LLMs 是否顾虑了教化数据。公式如下：
其中，ZLIB（X）暗意文本 X 的 zlib 压缩率，PPL（X）暗意文本 X 的困惑度。
部分参议者觉得只可作为接济
这篇论文向咱们展示了神经科学参议的一个新标的，省略过去在前期探索的时刻，神经学群众王人不错借助 LLM 的力量进行初步的科研目标筛选，剔除一些在纰谬、配景信息等方面存在较着问题的经营等。
但同期也有许多参议者对 LLM 的这个用法暗意了质疑。
有东谈主觉得履行才是科研最要紧的部分，任何瞻望王人没什么必要：
还有参议者觉得科研的要点可能在于精准的诠释。
此外，也有网友指出履行中的测试纰谬只接洽到了简单的AB 假定考试，简直参议中还有许多触及到平均值 / 方差的情况。
全体来看，这个参议关于神经学科研责任的发展还口角常有启发真理的，过去也有可能彭胀到更多的学术参议领域。
参议东谈主员们怎样看呢？
参考一语气：
[ 1 ] https://www.nature.com/articles/s41562-024-02046-9#author-information
[ 2 ] https://github.com/braingpt-lovelab/BrainBench第四色se999se
