发布日期：2024-09-21 04:56 点击次数：137
裁剪：Aeneas 好困巨屌 av
【新智元导读】北京大学规划机学院张铭教育团队聚首华盛顿大学等团队，再次登上海外AI顶刊。商议发现，只需要一篇坏心文本，就能显赫误导推理系统对相应药物-疾病关系的融会，同期对此建议了高效的真贵工夫。
从科研文本中构建的生物医学学问图谱，已被平方应用于援救医学有贪图和挖掘新的医学发现。
同期，大言语模子也曾展示出了生成高质地文本的深广能力，此类文本在产生正面效益的同期，也可能羞辱公开数据库，形成不行控的负面影响。
基于这些受羞辱数据库构建的医学学问图谱推理系统濒临潜在风险，可能影响药物推选和疾病商议等有贪图，以致对患者的诊治成果和安全组成恫吓。
因此，揭示并准确评估这种风险，并制定相应的真贵战略，在当前大模子和学问图谱推理平方应用的配景下，具有卓绝要紧且热切的商议意念念。
2024年9月20日，北京大学规划机学院张铭教育团队聚首华盛顿大学助理教育王晟、博士后肖之屏在海外顶尖东说念主工智能期刊Nature Machine Intelligence（简称NMI，最新影响因子为18.8）上发表了题为：Poisoning medical knowledge using large language models的商论说文。
论文开发了名为Scorpius的条目文本生成系统，该系统诳骗大模子为指定的药物-疾病关系对生成坏心文本。
论文发现，只需要一篇坏心文本，就能显赫误导推理系统对相应药物-疾病关系的融会。
同期，论文还建议了高效的真贵工夫来减少这种误导所产生的负面影响。
论文地址：https://rdcu.be/dUytb
Scorpius的测验数据、代码、模子已开源：https://github.com/yjwtheonly/Scorpius
Scorpius的可交互劳动器：https://huggingface.co/spaces/yjwtheonly/Scorpius_HF
Scorpius：诳骗大言语模子投毒医学学问
从医学文件中构建的生物医学学问图谱已被平方用于考据生物医学事实并生成新发现。
最近，大言语模子展示了生成文本数据的深广能力。尽管大多数这些文本数据是有用的，大言语模子也可能被用于生成坏心内容。
商议团队商议了是否可能使用大言语模子生成坏心论文，从而败坏医学学问图谱并进一步影响后续的生物医学应用。
为了探索这一问题，团队开发了Scorpius，这是一个条目文本生成模子，大略针对给定的倾销药物和地点疾病生成坏心论文节录。其地点是通过将这一坏心节录与数百万篇实在论文夹杂来影响医学学问图谱的构建，进而欺骗图谱使用者，使他们误以为该倾销的药物与地点疾病高度规划。
商议团队在基于3，818，528篇论文构建的学问图谱上对Scorpius进行了评估，罢休标明仅通过添加一篇坏心节录，Scorpius就能将71.3%的药物-疾病对的规划性从1000名除外擢升到前10名。同期Scorpius生成的节录在六项评估观点上王人潜入出了难以被灵验检测的特质。
审稿东说念主指出，Scorpius能通过文本影响图谱构建进而垄断卑鄙推理的气候，揭露了基于公开数据集的医学学问发现进程中的一个高危破绽，这突显了在大模子期间针对此类有毒报复设想深广真玉体系的必要性。
图2 诳骗大模子败坏医学图谱推理系统的概览
（a）常见的从文本数据库中抽取医学学问图谱，随后进行图谱推理产生医学发现的进程；（b）诳骗大模子生成坏心医学节录，将其混入实在文本数据库，进而败坏图谱构建，并误导推理罢休
关于一个从文本数据库到产生推理罢休的竣工学问发现进程，商议团队离别考据了基于图谱完成推理、基于文本数据库构建图谱以及整个全进程的可败坏性。
图3 医学学问图谱推理的可败坏性
（a-c）针对特定药物-疾病对的败坏罢休，在不同推理形式的评估中，添加一条坏心连边均能显赫擢升地点关系的名次；（d-f）疾病无关的败坏罢休，跟着添加坏心连边数目的增加，败坏成果镇定增强；（g）加入多条坏心连边的影响以及高敏锐节点的发现
领先，商议东说念主员通过在已构建图谱上平直添加坏心连边的形式评估图谱推理的可败坏性。
商议发现，关于只针对特定药物-疾病的败坏，只需要添加一条连边，经典的DistMult、ConvE和ComplEx推理形式便均会被误导到指定罢休上，使得地点药物-疾病的规划性名次大幅高潮（图3 a-c）。
而关于不针对特定疾病，旨在擢升某一药物全局要紧性的败坏，图谱推理系统则潜入出了更强的各异性，需要添增加条坏心连边才能废除败坏观点（图3 d-f）。
同期，商议还揭示了图谱中存在高敏锐的中心节点，这意味着添加与之规划的坏心连边更容易废除败坏观点（图3 g）。
这一系列罢休标明，图谱推理系统的自我纠错能力较低，容易被败坏误导。
图4 医学学问图谱构建的可败坏性
（a）诳骗随即替换进行文本改写；（b-e）在不同替换比例下使用多种图谱抽取器具时的败坏告捷率
其次，商议团队考据了从文本数据中抽取学问图谱这一过程的可败坏性。
商议发现，即使对实在文本进行多半的肤浅替换改写，即使改写后的文本色量显赫裁减（图4 a），现存的图谱抽取器具（包括医学巨匠学问启动的GNBR，以及通用数据启动的UIE、TDERR和LUKE）依然能抽取出地点关系（图4 b-e）。
女同偷拍这一罢休标明各式更高性能的大模子王人能灵验欺骗规划图谱抽取模子。
图5 诳骗大模子从文本起源败坏医学图谱推理系统
（a-c）生成坏心医学节录并考据败坏成果的进程图。领先识别最具败坏收益且粉饰的坏心连边，随青年景对应坏心节录，临了进行限制适配改写；（d-f）不同真贵强度下的败坏罢休。在较低真贵强度下，败坏地点被简陋废除（d）；跟着真贵的增强（e，f），败坏形成的影响镇定减小；（g-h）不同模子在不同真贵强度下的败坏罢休。Scorpius一致地赢得了最强的败坏成果
最终，商议团队开发了诳骗大模子从文本数据库端败坏图谱推理系统的Scorpius模子。
关于给定的败坏地点，Scorpius领先基于无益性和粉饰性的空洞考量来遴荐坏心连边，随后摄取模板教唆+大模子生成+限制适配改写的形式生成对应的坏心节录文本。
临了，Scorpius将生成的坏心节录和包含百万篇实在paper的数据库夹杂，重新构建图谱并完成推理，并比拟败坏地点在推理系统中的名次变化（图5a-c）。
罢休标明，现存的大模子GPT-3.5，GPT-4，Finetune-GPT-3.5，RAG-GPT-3.5，RAG-GPT-4均能废除败坏观点，而Scorpius赢得了最强的败坏成果（图5 d-h）。
此外，商议还发现，摄取更强的defender，开荒更大更多元的医学学问图谱，使用巨匠审议的数据库取代预印本数据库均能在一定进度上裁减这种败坏带来的影响。
总的来说，商议团队不仅意料了医学图谱推理系统中各身手的可败坏性，进而揭示并定量评估了大模子的误用对医学发现可能形成的误导，况兼从defender设想和数据增强的角度对减少此类败坏作念出了探索。
这些罢休展现了基于公开数据集的医学图谱推理存在的高危破绽，为在大模子期间开展更实在的医学学问发现开辟了新的商议念念路。
作家先容
论文一作杨君维为北京大学规划机学院三年龄博士生，导师为张铭教育。
王晟和肖之屏亦然北京大学信息学院规划机系学友，王人与张铭教育团队有多年的合营。
北大团队成员还有硕士留学生Srbuhi Mirzoyan，博士生刘泽群，博士后琚玮、刘卢琛。
举座作家为Junwei Yang巨屌 av， Hanwen Xu， Srbuhi Mirzoyan， Tong Chen， Zixuan Liu， Zequn Liu， Wei Ju， Luchen Liu， Zhiping Xiao#， Ming Zhang#， Sheng Wang#（标#的为通信作家）。