微软打造 13 亿参数小型 LLM AI 模型,号称实际效果胜于千亿参数 GPT-3.5
叶紫网 6 月 27 日消息,AI 实际上,模型盲堆体积的效果并不一定更好,更多的取决于训练数据的质量,最近,微软最近发布了一款 13 语言模型为1亿参数 phi-1,培训采用“教科书等级”的优质资料,据说“实际效果优于千亿参数” GPT 3.5”。
▲ 图源 Arxiv
叶紫网注意到,该模型以 Transformer 架构为基础,微软团队使用了包括来自网络的“教科书等级”数据和以 GPT-3.5 经过处理的“逻辑严密的内容”,以及 8 个英伟达 A100 GPU,在短短 4 天内完成训练。
▲ 图源 Arxiv
微软团队表示,比起增加模型的参数量,通过提高模型的训练数据集质量,也许更能强化模型的准确率和效率,于是,他们利用高质量数据训练出了 phi-1 模型。在测试中,phi-1 的分数达到 50.6%,比起 1750 亿参数的 GPT-3.5(47%)还要好。
▲ 图源 Arxiv
微软表示,phi-1 接下来会在 HuggingFace 中开源,而这不是微软第一次开发小型 LLM,此前,他们打造一款 130 亿参数的 Orca,使用了 GPT-4 合成的数据训练而成,表现也同样比 ChatGPT 更好。
热门推荐
-
微软发布Windows 11 的 8 月“星期二补丁”解决 Windows 操作系统的安全问题
Windows 11 的 8 月星期二补丁更新 Build 22000.856 (KB501662... -
华为Nova2s怎么样 Nova2s手机配置参数介绍
华为在北京召开新品发布会,正式发布了新一代Nova2s智能手机,它是Nova系列首款全面屏手机,相比... -
新版微软自带输入法终于更新了:可以和第三方输入法告别了
有关注的网友都知道,近期Windows正式推送了Win10 1903,伴随而来的是一大波新鲜功能,对... -
可预测输入内容的键盘?微软将推Win10版SwiftKey!
近日据美国相关媒体报道称,微软计划将于今年晚些时候发布新型键盘,将配置于Windows10,据悉配备... -
微软已向英国 CMA 提起上诉,就动视暴雪 690 亿美元收购案
微软在游戏机市场上唯一的竞争对手索尼强烈反对这项交易,声称该公司计划将动视游戏独占于 Xbox 和 ... -
微软双屏新专利,标新立异可折叠
据了解微软正在开发一款双屏Surface设备,该设备也曾多次出现在专利申请中。一直有传言称,微软在研... -
谷歌最新 AI 大语言模型 PaLM2 数据量扩充 5 倍
上周发布的最新大语言模型使用的训练数据,几乎是 2022 年的上一代模型 5 倍。得益于此,该模型在... -
动视暴雪 CEO 科蒂克再谈微软收购案:若成功有利于行业
科蒂克还强调,自己非常喜欢动视暴雪和它的企业文化,但他同时也非常担心动视暴雪的经济问题 —— 因为人... -
微软 687 亿美元收购动视暴雪交易预计将获欧盟批准
预计微软收购动视暴雪的交易将获得欧盟反垄断部门的批准。去年 1 月,微软宣布投掷 687 ... -
Meta 语言 AI 工具泄露:未获授权的用户也能下载使用
Meta 最新的大型语言模型泄漏,当地时间周一,未经授权的用户也可以下载使用,Meta 表示将继续向... -
Win11 新版文件管理器视图表明微软正弃用 DirectUI
微软在最新发布的Win11Build 25300 预览版更新中,在文件管理器中引入了基于 XAML ... -
微软让语音助理Cortana 处理对话时更流畅更自然
微软的语音助理 Cortana 落后于 Google Assistant 和 Alexa,该公司一直... -
拍照对比:为什么苹果手机拍照效果比国产手机的好
对于手机的拍照大家第一点想到的可能会是手机的像素,认为像素越高手机拍出来的照片会越清楚。其实并不是这... -
微软Xbox Series X/S港版售价公布 将在全球同步发售
现在,微软也是公布了Xbox Series X和Xbox Series S新一代主机港版的价格,这要... -
微软发布 Windows 11 21H1 版本 Build 22000.1098
此版本中的主要更改包括:此更新包含对内部 OS 功能的杂项安全改进。此版本没有记录其他问题。叶紫网获... -
比MacBook Pro还高颜值的笔记本,抓紧时间看过来!
新年换机没有思路?来看一看这款颜值超高的轻薄笔记本,Surface laptop,时尚的外观,轻巧的... -
微软Edge浏览器macOS版官方下载:支持Touch Bar
微软Edge浏览器macOS版已经官方宣布下载,将提供与Edge在Windows 10上相同的全新浏... -
微软与电影《芭比》联动:Xbox 推主题手柄、主机
近日,微软联名真人电影《芭比》推出了多款联名产品,包括定制款 Xbox 手柄外壳,主机,竞速游戏《极... -
随心所欲,百变菁英:微软Surface Pro(第五代)二合一平板电脑笔记本
微软(Microsoft)Surface Pro(第五代)厚度仅8.5mm,重量轻至768g,非常的... -
Win10 22H2 是 Win10 的最终版本,Win11 LTSC 长期支持版明年推出
Channel,LTSC)将根据它们的特定生命周期继续接收更新。例如,Windows 10 LTSC... -
小米5详细参数曝
外媒昨日曝光了小米5的详细配置。并且根据内部消息这款产品将在11月面市。 从配置来看,今年年底这款... -
微软市值突破 9000 亿美元,登上全球第一市值宝座
美国时间 3 月 18 日周一收盘后,微软收盘价为 117.57 美元,当日涨幅 1.43%,市值达... -
不懂数码相机该如何选购?看完这篇文章你就知道了。
现在爱拍照的朋友越来越多了,可随之而来的就是该如何选购数码相机这个问题,其实这个问题并不困难,随着现... -
OpenAI 预计明年年年营将会达到 2 亿美元,2024 年之前达到 10 亿美元
预计明年年年营将会达到 2 亿美元,2024 年之前达到 10 亿美元。一位知情者称,最近 Open... -
OpenAI 聘请专家攻击 ChatGPT,定性探索和对抗性测试
以测试这个工具在回答问题时的详细程度。OpenAI 想要探索模型毒性、偏见和歧视等问题。因此,“红军...