OpenAI 聘请专家攻击 ChatGPT,定性探索和对抗性测试
北京时间 4 月 17 日早间消息,据报道,在安德鲁・怀特(Andrew White)获得 GPT-4 使用权后,他利用这个人工智能系统提出了一种新的神经毒剂。GPT-4 是热门的聊天机器人 ChatGPT 背后的人工智能技术。
作为罗切斯特大学的化学工程教授,怀特是 OpenAI 去年聘请的 50 名专家学者之一。在 6 个月的时间里,这支“红军”对这一新模型进行了“定性探索和对抗性测试”,试图攻击它。
怀特表示,他使用 GPT-4 的建议生成了一种可作为化学武器的化合物,并使用“插件”为这个模型提供新的信息源,例如学术论文和化学品制造商名录。随后,这个聊天机器人找到了一个地方来制造这种化合物。
他说:“我认为,这将使每个人都获得更快速、更准确地工具去从事化工行业。但这也使得人们会以更危险的方式去开展化学活动,带来了很大的风险。”
上个月,OpenAI 面向更广泛的公众发布了这项新技术,而这些令人惊讶的发现确保新技术不会带来不良后果。
事实上,“红军”的演习目的是探索并了解在社会上部署先进人工智能系统会造成什么样的风险,解决公众这方面的担忧。他们在工作中提出探索性的或是危险的问题,以测试这个工具在回答问题时的详细程度。
OpenAI 想要探索模型毒性、偏见和歧视等问题。因此,“红军”就谎言、语言操纵和危险的科学常识进行了测试。他们还评估了模型协助和教唆剽窃的情况、金融犯罪和信息安全攻击等违法活动的可能性,以及模型可能会如何威胁国家安全和战场通信。
“红军”由一系列专业人士组成,包括学者、教师、律师、风险分析师和信息安全研究员,主要来自美国和欧洲。他们的发现被反馈给 OpenAI。在更广泛地推出 GPT-4 之前,“红军”提供的意见被用于模型的重新训练,解决 GPT-4 的问题。在几个月的时间里,专家们每人花了 10 到 40 个小时去测试这个模型。多名受访者表示,他们的工作时薪约为 100 美元。
其中的许多人都对语言模型的快速发展提出了担忧,尤其是通过插件将语言模型与外部知识源连接在一起可能造成的风险。
GPT-4“红军”的成员、瓦伦西亚人工智能研究所教授何塞・埃尔南德斯-奥拉洛(José Hernández-Orallo)表示:“今天,系统被冻结了。这意味着它不再学习,也不再有记忆。但如果我们让系统继续有机会访问互联网,那么会怎样?这可能会成为一个与世界相连的非常强大的系统。”
OpenAI 表示,该公司认真对待安全性问题,并在发布前对插件进行了测试,并将随着用户越来越多继续定期更新 GPT-4。
技术研究员罗亚・帕克扎德(Roya Pakzad)使用英语和波斯语的输入信息对该模型进行了性别、种族偏见等测试,例如对于佩戴头巾问题。
帕克扎德承认,这个工具对非英语母语人士能带来帮助,但也显示出对边缘人群的公开刻板印象,即使随后更新的版本也是如此。她还发现,在用波斯语测试该模型时,聊天机器人用捏造的信息做出回复,即出现所谓“幻觉”的情况更糟糕。与英语相比,在波斯语回复中捏造名字、数字和事件的比例更高。
她表示:“我担心,语言多样性和语言背后的文化会受到损害。”
来自内罗毕的律师、唯一一名非洲测试人员博鲁・戈洛(Boru Gollo)也注意到了模型的歧视性语气。他说:“有一次,我在测试这个模型时,它表现得像个白人在跟我说话。在问到某个特定群体时,它会给一个有偏见的意见,或是在回答中出现歧视。”OpenAI 承认,GPT-4 仍有可能表现出偏见。
“红军”的成员还从国家安全的角度对模型进行了评估,但他们对于新模型的安全性有着不同的看法。美国外交关系委员会研究员劳伦・卡恩(Lauren Kahn)表示,当她开始研究,如何将这项技术用于对军事系统的攻击时,她“没有想到模型的回答会如此详细,以至于我只需要做一些微调即可”。
不过,卡恩和其他信息安全测试者发现,随着测试时间推移,模型回答的内容逐渐变得安全。OpenAI 表示,在推出 GPT-4 之前,曾训练过这个模型拒绝回答恶意的信息安全问题。
“红军”的许多成员表示,OpenAI 在发布 GPT-4 之前已经进行了严格的安全评估。卡内基梅隆大学语言模型毒性专家马尔滕・萨普(Maarten Sap)说:“他们在消除这些系统中的显性毒性方面做得非常好。”萨普研究了该模型对不同性别的描述,发现模型的偏见反映的是社会差异。但他也发现,OpenAI 做出了一些积极的选择来对抗偏见。
然而自推出 GPT-4 以来,OpenAI 一直面临着广泛的批评。例如,有技术伦理组织向美国联邦贸易委员会(FTC)投诉,称 GPT-4“有偏见和欺骗性,对隐私和公共安全构成风险”。
最近,该公司推出了一项名为 ChatGPT 插件的功能。通过该功能,Expedia、OpenTable 和 Insta 等合作伙伴应用可以让 ChatGPT 访问它们的服务,允许 ChatGPT 代表用户下单。
“红军”的人工智能安全专家丹・亨德里克斯(Dan Hendrycks)表示,这些插件可能会让人类用户“脱离整个链路”。“如果聊天机器人可以在网上发布你的私人信息,访问你的银行账户,或者派警察到你家里去,那会怎么样?总体而言,在让人工智能掌握互联网的力量之前,我们需要更有力的安全评估。”
受访者还警告说,OpenAI 不能仅仅因为其软件是在线的就停止安全测试。乔治城大学安全和新兴技术中心的希瑟・弗雷斯(Heather Frase)测试了 GPT-4 协助犯罪的能力。她表示,随着越来越多人使用这项技术,风险将继续扩大。她表示:“你做运行测试的原因是,一旦它们在真实环境中被使用,行为就会不同。”她认为,应该创建一个公共记录本,报告由大语言模型引发的事故。这类似于信息安全或消费者欺诈报告系统。
劳工经济学家及研究员萨拉・金斯利(Sara Kingsley)建议,最好的解决方案是清楚地宣传这方面的危害和风险,“就像食品上的营养标签”。“关键是要形成一个框架,知道经常出现的问题是什么。这样你就可以有一个安全阀。这也是为什么我认为,这项工作将会永久性的持续下去。”
热门推荐
-
一句话,轻松搞定衣物的清洗晾晒!
生活的科技感越来越强,人们也变得越来越懒了,虽说有了自动洗衣机很方便但是对于更懒的人来说晾衣服也是一... -
诺基亚 TA-1563 功能手机通过 FCC 测试
最新消息称一款型号为“TA-1563手机通过 FCC 认证。认证文件显示,有两个版本的机会,一个配备... -
软件被攻击?你的硬件也有漏洞
最近企业网络被攻击新闻不断,已经对企业造成了一定的业务损失。虽然企业网络技术的发展为数据交流提高了通... -
微信 iOS 平台更新:测试朋友圈“修改可见范围”
灰度测试微信视频通话悬浮窗功能,微信笔记更加高级,“清空全部聊天记录”按钮更显眼等等。除此之外,微信... -
小米电视5新功能get!!!——声纹识别厉害了喔~
随着科技的不断发展,科技为人们的生活提供着越来越大的便利了,我们必须承认现在的很多家居抹上科技色彩后... -
OpenAI 总裁回应被马斯克批评:他说的是合理的
这个聊天机器人却输出了一首热情洋溢的诗。对此,马斯克批评道,聊天机器人拒绝创作关于特朗普的诗是“一个... -
腾讯优图发布AI手语翻译机用人工智能帮助听障人士正常交流
在全球无障碍宣传日之际,腾讯优图实验室联合深圳市信息无障碍研究会共同发布了“优图AI手语翻译机”,致... -
投影仪对比度是什么?是高好还是低好?当贝投影F3实机测试
亮度和分辨率可以说是选购投影仪时人们最为关注的两个参数标准。但是事实上在我们家用投影仪时,对比度实际... -
31 名 ChatGPT 训练派遣工遭解雇
人 ChatGPT 语言模型背后的派遣工被解雇。Slack 内部聊天截图显示,截至 3 月 16 日... -
苹果 M2 MacBook Pro 13 测试:性能释放可达 20W,GPU 功率可达 13.5W
CPU 性能释放可达 20W,GPU 功率可达 13.5W。单独满载 CPU 和 GPU,... -
“杀手哥”测试苹果 iPad 10 耐用性,刀划火烧手掰三件套
ouTube 频道 JerryRigEverything 主播扎克・尼尔森(Zack Nelson)... -
谷歌 YouTube TV 开始测试多视图屏幕功能
多视图功能将在有限的早期访问中提供,允许一些用户同时在屏幕上观看多达四个电视频道。测试将包括一些支持... -
人工智能领域里面的配套服务产业有什么
现代社会上,人工智能领域已经非常的普及,而且研发出了相应的产品,所以说相关的一些企业开始有着具体的分... -
微软 Visual Studio 2022 17.4 预览版 2 发布:允许同时激活多个 Git 存储库
此更新解决了预览版 1 中国报告的一系列问题带来了许多新功能。微软希望参与测试预览版的用户继续通过开... -
海信发布 可覆盖全生活场景的AI人工智能电视系统出世!
据消息称1月31日晚间在北京,海信正式发布了VIDAAAI人工智能电视系统,首次对人工智能电视的定义... -
亚马逊零售支出将向云业务倾斜,发力 AI 和大模型
亚马逊表示,为了加强生成式 AI 开发大语言模型,该公司将部分零售业务支出转向亚马逊云服务(AWS)... -
微软与 ChatGPT 开发商 OpenAI 的合作取得成效
尽管微软对人工智能的大规模投资仍处于早期阶段,但有迹象表明,微软与 ChatGPT 开发商 Open... -
投行人士调侃称 Facebook 将再度改名 MetAI
将再次更名该公司 MetAI。Facebook 首席技术官安德鲁・博斯沃思(Andrew Boswo... -
微软呼吁在立法基础上制定管理人工智能使用规则
在国家隐私立法的基础上制定管理人工智能使用的规则。图源 PexelsBSA 代表 Adobe、IBM... -
AI 能生成新型蛋白质,可用于制造特定机械性能材料
研究人员将新生成的蛋白质与具有相似结构特性的已知蛋白质进行了比较。他们发现,许多生成的蛋白质与已知的... -
微软总裁表示,中国将是 ChatGPT 的主要对手
布拉德,微软总裁・史密斯(Brad Smith)在接受日经亚洲评论采访时,东京表示,中国的研究机构和... -
时隔一年多小米盒子回归 语音控制和人工智能是亮点
前两年科技互联网领域的热门产品--电视盒子在这两年的热度慢慢退减。 -
科技引领潮流 立志用人工智能服务大众
近年来,智能硬件已然成为了推动我国“互联网+”创新创业的主要新动力。它是一种具备信息处理、采集和连接... -
沃尔玛推出人工智能商店 是否将取代劳力
沃尔玛终于向公众开放了名为智能零售实验室的概念店,称其为“未来商店”和未来技术的试验场。沃尔玛表示,... -
ChatGPT 每天运行开销达 70 万美元,微软开发自主芯片尝试降低成本
微软正在开发一款代号为“雅典娜”的人工智能芯片。该项目于 2019 年启动。在此几年前,微软与 Op...