大模子的第一国法——Scaling Law，发现者不是2020年的OpenAI，而是2017年的百度？！
近期，一则音信刷爆了外网AI圈。
百度早于Open AI，发表Scaling Law有关论文议论
11月27日黎明，Meta议论员Jack Morris在外交媒体发文称：“大多数东谈主不知谈，对于Scaling Law的原始议论来自2017年的百度，而不是2020年的OpenAI。”
该推文中提到的论文就来自于百度在2017年发布的一篇论文《DEEP LEARNING SCALING IS PREDICTABLE, EMPIRICALLY》。
论文展示了在机器翻译、话语建模、图像贬责和语音识别等四个领域中，跟着磨练集范围的增长，深度学习泛化流毒和模子大小呈现出幂律增长（scaling）时势。只不外那时议论者使用的是 LSTM，而不是Transformer；也还莫得将这一发现追究定名为“Law”。但论文的其中一位作家Gregory Diamos畴前在百度的先容照旧LLM Scaling Law Researcher。
这项议论还有后续，2019年，百度的上述团队再次发表了一篇论文《Beyond human-level accuracy: computational challenges in deep learning》（零散东谈主类水平的准确性： 深度学习的盘算挑战）。
巧的是，OpenAI 在2020年发表的，为东谈主所熟知的的论文《Scaling Laws for Neural Language Models》恰恰引述了百度的这项议论。
图片开端：OpenAI 论文《Scaling Laws for Neural Language Models》
是以归根溯源，Scaling Law的议论从泉源看，是都备绕不开百度的。或者说百度才是Scaling Law的最早发现者，从某种酷好上，为大众生成式AI的爆发奠定了基础。
此前曾在Open AI责任，参与了GPT-3等弥留名堂拓荒的AI各人Gwern Branwen曾较早瞩目到了Scaling Law 。他也陆续拿起：百度的这篇论文照实被严重冷漠了。
Anthropic独创东谈主爆猛料，2014年百度责任时代就发现Scaling Law
无特有偶，Anthropic独创东谈主Dario Amodei在本月中旬与Lex Fridman的播客节目中也明确提到，2014年与吴恩达在百度议论AI的时候，他就也曾发现了Scaling自得。
在议论语音神经辘集时，Dario和团队发现，“跟着你给它们提供更多数据，跟着你让模子变大，跟着你磨练它们的时辰越来越长，模子的施伸开动越来越好。那时我并莫得精准地斟酌，但我和同事们都相等非追究地嗅觉到，给这些模子的数据越多、盘算越多、磨练越多，它们的施展就越好。”
对于Dario，大部分东谈主更了解的是2016年他加入Open AI并指挥团队拓荒了 GPT-2 和 GPT-3。以及他在2021年与妹妹共同创立Anthropic，并发布Claude。
但Dario最早踏足AI圈却是从百度开动的，博客中他也表示，“ 2014 年底，我在百度与吴恩达同事时初度进入东谈主工智能全国，到当今差未几恰好是 10 年。“
一张在业界广为流传的图也展示了百度吸纳过大众一普遍顶尖的AI东谈主才。
举例，2014年，吴恩达加入百度并在议论院首席科学家，担任百度公司首席科学家，负责百度议论院的联结责任，尤其是Baidu Brain议论。 2014年5月19日，百度文告任命吴恩达博士为百度首席科学家，全面负责百度议论院。
百度独创东谈主李彦宏在近期媒体专访中被问及此事时，也初度公开共享了其中的细节，“吴恩达来的事理其实也比拟简便，他那时在Google，作念Google brain，念念买更多的GPU，Google说不成，太贵了。咱们说你来，叮嘱买，那他就来了。他来了之后，像Dario Amodei，他本来是斯坦福的学生，那你来加入百度，Dario Amodei来了之后说Jim Fan可以，我找他来进行实习。”
可能百度的格调一直比拟低调求实，李彦宏也从分散外高傲百度的东谈主才储备，就像绝大多数的东谈主都不知谈Scaling Law的议论是从百度开动的不异。
李彦宏也在专访中表示，“一代一代的东谈主，就把优秀的东谈主才偶然诱导过来。诚然这些东谈主其后铸成大错，又离开了百度，我以为也没问题，东谈主才的这种流动对总共行业是健康的。他找到他的下一站，对于百度来说也培养了一批相等优秀的东谈主才。外界因为某一个东谈主的离开会有报谈，然而这个东谈主要是在这儿呆着的话，就莫得报谈，并不是因为这个东谈主不优秀。其实咫尺在百度里面，有好多好多相等优秀的东谈主在作念AI，只不外因为他们莫得离开，所之外界不知谈，莫得报谈。”
李彦宏指挥百度在2023年1月就拓荒了深度学习议论院，开动鼎力插足AI。基于对于AI东谈主才绝不惜啬地补助和对AI技艺标的的刚硬议论，百度才偶然在2019年发布第一代的文心大模子，确实与OpenAI的GPT-1处于统一时辰。这也才扶植了百度在2023年景为大众第一家推扶植成式AI家具的大众科技大厂。
咫尺，文心大模子不仅是国内才调最强的大模子，亦然使用量最渊博的基础模子。数据显示，百度文心大模子日均调用量也曾高出15亿次，相较一年前初度透露的数据，增长 30 倍。24年Q3财报电话会上，李彦宏露出，百度将于2025岁首发布新版文心大模子。
【免责声明】【告白】本文仅代表作家本东谈主不雅点开yun体育网，与和讯网无关。和讯网站对文中文书、不雅点判断保握中立，分散所包含现实的准确性、可靠性或无缺性提供任何昭示或示意的保证。请读者仅作参考，并请自行承担一齐包袱。邮箱：news_center@staff.hexun.com
【免责声明】本文仅代表第三方不雅点，不代表和讯网态度。投资者据此操作，风险请自担。 -->