撞上数据墙？OpenAI模型提升速度放缓 着手调整开发策略
市场连续暴跌200点，情绪已到冰点，短线反弹即将开启，这几只票主力已明显介入！微信搜索关注【研讯小组】公众号（可长按复制），回复666，领取代码！
高质量数据不够用，拖累AI模型改进速度——OpenAI这位AI领头羊又遇到了难题。
一些测试过Orion的OpenAI员工发现，虽然Orion的性能超过了OpenAI现有的所有模型，但其性能质量提升程度远远小于从GPT-3到GPT-4的飞跃。这意味着，随着高质量数据趋于有限，AI模型的改进速度可能会放缓。
不仅如此，Orion的训练中涉及来自旧模型（例如GPT-4与一些推理模型）的AI生成数据，这可能导致其重现旧模型的一些行为。
为此，OpenAI成立了一个“基础”团队，以在高质量新数据供应减少的情况下，研究能让AI模型保持改进的新方法。据悉，公司计划基于AI合成数据训练Orion，并在后期训练中对模型作出更多改进。
目前，OpenAI正在推进Orion的安全测试，计划于明年年初发布这一模型，其可能会打破“GPT-X”的命名惯例，以反映模型开发的变化。
值得注意的是，OpenAI在今年收购了Chat域名，该域名已重定向至OpenAI的AI驱动聊天机器人ChatGPT。
“撞上数据墙”
早在2020年，OpenAI就曾在一篇论文中提出Scaling law定律，意指大模型的最终性能主要与计算量、模型参数量和训练数据量三者的大小相关，而与模型的具体结构（层数/深度/宽度）基本无关。换言之，仅仅增加模型规模和训练数据，就能显著提升人工智能能力，而无需取得根本性的算法突破。
AI界许多公司都一度将Scaling Law奉为圭臬，但如今，也有越来越多的质疑声出现。
Meta AI人工智能研究院(FAIR)研究员及高级经理田渊栋指出，“我画过一张图，一开始数据量越大，模型性能表现越好，但模型离人类越近就越难获得新的数据，模型就越来越难以改进，最后总会有些corner case（边角案例，即无法想到的或不常见的案例）解决不了，这是data driven（数据驱动）最大的问题。”
非营利研究机构Epoch AI在今年7月更新的一篇论文中指出，未来数年内，（原始）数据增长的速度将难以支撑AI大模型扩展发展的速度，在2026-2032年之间的某个时间点，数据存量将耗尽。
实际上，OpenAI已不是第一次遭遇“数据资源不足”的问题。此前已有媒体报道指出，在训练GPT-5时，OpenAI因文本数据不足，正在考虑使用YouTube公开视频转录出的文本。
如今OpenAI再度碰上数据资源难题，甚至因此影响到了新模型进展。“但这代表‘天塌了，’”The Information这篇文章的作者之一Amir Efrati指出，OpenAI正在作出调整，或许将有新的Scaling Law取代旧Scaling Law。
值得一提的，当地时间11月9日，OpenAI安全系统团队负责人翁荔（Lilian Weng）宣布将离开已经工作了近7年的OpenAI。她公开分享了发给团队的离职信，但其中并未言明具体离职原因及未来职业去向，仅表示“是时候重新出发，探索新的领域了”。
（文章来源：科创板日报）
市场连续暴跌200点，情绪已到冰点，短线反弹即将开启，这几只票主力已明显介入！微信搜索关注【研讯小组】公众号（可长按复制），回复666，领取代码！
马斯克“神秘改名”引爆币圈，交易员狂赚数千万！
新年之际，社交媒体平台X的老板马斯克突然改名，引发了一场意外的加密货币狂潮。一款名为“Kekius Maximus”的加密货币因此暴涨，一名神秘交易员在短短两天内狂赚数千万人民币。本文将详细解析这一事件背后的故事。
财经快讯
· 2025-01-02
免税巨头中国中免股价暴跌，30万股民欲哭无泪！
曾经风光无限的 “免税茅” 中国中免，如今却让三十多万股民愁眉不展。从 2021 年至今，其市值大幅缩水，业绩也一路溃败，这背后究竟隐藏着怎样的危机？免税巨头又能否成功自救？
财经快讯
· 2024-12-27
连续10年分红股票排名，这些股票实力硬！
在波动的股市中，寻找稳定收益的股票是每个投资者的梦想。本文将深入探讨连续10年保持高分红记录的中国神华、兖矿能源、宇通客车、中国石化、冀中能源、交通银行、农业银行和中国银行等公司，分析它们的分红情况和股息率，为稳健型投资者提供一份实用的参考指南。
财经快讯
· 2024-12-27
微信小店概念股：社交电商新风口下的投资机遇
随着微信小店功能的不断升级和创新，其概念股在资本市场上的表现日益亮眼。从“送礼物”功能的灰度测试，到微信生态内各场景的深度融合，微信小店正逐步成为社交电商领域的新风口。本文将深入探讨微信小店概念股的投资价值及未来发展趋势。
财经快讯
· 2024-12-26
国产算力板块崛起：创新驱动未来计算新生态
随着数字化转型的加速，国产算力板块正逐步成为国家科技战略的重要组成部分。在政策扶持和技术创新的双重驱动下，国产算力不仅实现了从无到有的突破，更在性能与生态构建上取得了显著进展，为全球计算产业注入新的活力。
财经快讯
· 2024-12-23
日本贸易逆差大缩超过八成，股市风云将起？
日本贸易逆差额大幅缩减八成，这一变化对日本股市有着多方面影响，包括出口企业盈利预期改变、日元汇率波动、通胀压力变化、全球经济复苏信号以及政策变动等，整体上多为积极影响但受多种因素制约。
财经快讯
· 2024-12-19
董明珠再提10亿赌约，炮轰雷军股民回报少
近日，格力电器董事长董明珠在一档访谈节目中再次提及与雷军的10亿赌约，并公开质疑雷军对股民的回报。此外，她还透露小米因专利侵权向格力支付了50万元赔偿金。这一连串的消息再次引发了广泛关注。
财经快讯
· 2024-12-16
阿里进军日本市场，打造日版TAO，能否再造一个淘宝？
阿里在国际市场上的步伐从未停歇，而这次，他们把目光聚焦在了日本。近日，一款名为TAO的全新电商APP在日本悄然上线，这是淘宝在海外推出的第一个本土化平台。与以往不同的是，TA
财经快讯
· 2024-12-12
谷歌发布Willow芯片：量子计算新突破
科技领域重磅消息不断，谷歌发布量子计算芯片Willow，引发广泛关注。这一成果绝非偶然，代表着量子计算技术迈向新台阶，势必对全球科技发展的走向、行业的变革以及科研的深度探索产生深远影响。
财经快讯
· 2024-12-11
A股成交额破万亿大关，连续50日热度不减！跨年行情可期？
A股市场在近期持续火爆，自9月25日以来，已连续50个交易日成交额超过万亿元，刷新市场纪录。12月10日，A股市场更是放量上涨，成交额突破2万亿元。分析人士指出，宽裕的流动性和乐观的政策预期有望支撑股市跨年行情，A股市场仍有上行空间。
财经快讯
· 2024-12-11
