撞上数据墙？OpenAI模型提升速度放缓 着手调整开发策略
高质量数据不够用，拖累AI模型改进速度——OpenAI这位AI领头羊又遇到了难题。
一些测试过Orion的OpenAI员工发现，虽然Orion的性能超过了OpenAI现有的所有模型，但其性能质量提升程度远远小于从GPT-3到GPT-4的飞跃。这意味着，随着高质量数据趋于有限，AI模型的改进速度可能会放缓。
不仅如此，Orion的训练中涉及来自旧模型（例如GPT-4与一些推理模型）的AI生成数据，这可能导致其重现旧模型的一些行为。
为此，OpenAI成立了一个“基础”团队，以在高质量新数据供应减少的情况下，研究能让AI模型保持改进的新方法。据悉，公司计划基于AI合成数据训练Orion，并在后期训练中对模型作出更多改进。
目前，OpenAI正在推进Orion的安全测试，计划于明年年初发布这一模型，其可能会打破“GPT-X”的命名惯例，以反映模型开发的变化。
值得注意的是，OpenAI在今年收购了Chat域名，该域名已重定向至OpenAI的AI驱动聊天机器人ChatGPT。
“撞上数据墙”
早在2020年，OpenAI就曾在一篇论文中提出Scaling law定律，意指大模型的最终性能主要与计算量、模型参数量和训练数据量三者的大小相关，而与模型的具体结构（层数/深度/宽度）基本无关。换言之，仅仅增加模型规模和训练数据，就能显著提升人工智能能力，而无需取得根本性的算法突破。
AI界许多公司都一度将Scaling Law奉为圭臬，但如今，也有越来越多的质疑声出现。
Meta AI人工智能研究院(FAIR)研究员及高级经理田渊栋指出，“我画过一张图，一开始数据量越大，模型性能表现越好，但模型离人类越近就越难获得新的数据，模型就越来越难以改进，最后总会有些corner case（边角案例，即无法想到的或不常见的案例）解决不了，这是data driven（数据驱动）最大的问题。”
非营利研究机构Epoch AI在今年7月更新的一篇论文中指出，未来数年内，（原始）数据增长的速度将难以支撑AI大模型扩展发展的速度，在2026-2032年之间的某个时间点，数据存量将耗尽。
实际上，OpenAI已不是第一次遭遇“数据资源不足”的问题。此前已有媒体报道指出，在训练GPT-5时，OpenAI因文本数据不足，正在考虑使用YouTube公开视频转录出的文本。
如今OpenAI再度碰上数据资源难题，甚至因此影响到了新模型进展。“但这代表‘天塌了，’”The Information这篇文章的作者之一Amir Efrati指出，OpenAI正在作出调整，或许将有新的Scaling Law取代旧Scaling Law。
值得一提的，当地时间11月9日，OpenAI安全系统团队负责人翁荔（Lilian Weng）宣布将离开已经工作了近7年的OpenAI。她公开分享了发给团队的离职信，但其中并未言明具体离职原因及未来职业去向，仅表示“是时候重新出发，探索新的领域了”。
（文章来源：科创板日报）
识别投资陷阱，了解投资炒股防骗信息，微信搜索关注【财途小站】公众号。
美联储最新消息！12月还可能降息？
美联储的降息政策对全球金融市场产生了深远影响。一方面，降息有助于降低企业融资成本，刺激投资和消费，推动经济增长。另一方面，降息也可能引发资产价格泡沫和金融风险，需要投资者保持警惕。
财经快讯
· 2024-11-14
A股十月回购榜新鲜出炉！
A股十月回购榜的出炉，不仅为企业信心提供了一次集体展示的舞台，也为市场风向的把握提供了重要线索。在这个信息爆炸的时代，投资者需要学会从纷繁复杂的数据中抽丝剥茧，抓住关键信息。回购行为作为连接企业、市场与投资者的桥梁，其背后蕴含的价值不容小觑。让我们期待，在未来的日子里，更多的优质企业通过回购等资本运作方式，不仅实现自我价值的提升，也为广大投资者带来实实在在的回报。
财经快讯
· 2024-11-14
股民关注起来！2025年A股交易日增加1天！
2025年A股交易日增加1天，虽然看似微不足道，但对于广大股民而言，却是一个值得关注和把握的机遇。随着资本市场的不断发展和完善，未来还将有更多类似的调整和优化。作为投资者，我们应该保持敏锐的嗅觉和开放的心态，紧跟市场的步伐，不断学习和提升自己的投资能力。只有这样，才能在风云变幻的股市中立于不败之地，实现财富的稳健增长。
财经快讯
· 2024-11-14
电信运营板块表现活跃！发生了什么？
昨日，三大运营商在股市中表现活跃，集体呈现上涨态势。中国联通涨停，中国电信、中国移动也涨幅可观。
财经快讯
· 2024-11-14
AI时代，光模块龙头股票一览！
AI技术的飞速发展正深刻影响着各个行业，光模块作为数据通信领域的关键部件，重要性愈发凸显，因此，其相关企业也是备受投资者的关注。
财经快讯
· 2024-11-13
中信证券预测：2025年A股将迎年度大涨行情
中信证券在2025年资本市场年会上发表最新观点，认为明年A股将迎来一轮年度级别的上涨行情，当前市场已站在起跑线上。中信证券首席分析师们对宏观经济、货币政策、财政政策及A股市场走势进行了详细解读，为投资者提供了有价值的参考。
财经快讯
· 2024-11-13
上海并购重组方案推进，抓住投资机会！
近期，上海在并购重组领域动作频频，市政府常务会议部署支持上市公司并购重组，还出炉了本地重组潜力股名单。这一系列举措引发市场关注，上海的并购重组浪潮将对经济发展和资本市场产生何种影响?
财经快讯
· 2024-11-13
速看！股市五大骗术曝光，无数股民已中招！
股市，这个充满机遇与挑战的地方，吸引了无数投资者的目光。然而，在股市的繁荣背后，却隐藏着一些不法分子的阴谋。他们利用各种手段，瞄准股民的钱袋子，企图从中谋取不义之财。今天，我们就来一起揭秘这些股市中的陷阱，让大家提高警惕，避免上当受骗。
财经快讯
· 2024-11-13
期货投资陷阱：3300人血亏2.24亿！这样理财等于送钱！
近期，兰州警方破获一起特大非法经营期货案，揭露了嫌疑人以期货交易之名行诈骗之实的罪行。此案导致3300余名投资者亏损2.24亿元，提醒广大投资者警惕投资市场中的迷惑性骗局。
财经快讯
· 2024-11-13
基金降费！已有多家银行宣布！
近年来，基金降费成为金融市场吸引客户和提升活跃度的重要手段。多家银行纷纷宣布对基金申购手续费率实行优惠，如农业银行、厦门银行、交通银行等，均推出1折费率优惠活动。此举背后是市场竞争加剧、监管政策推动及投资者需求多样化的共同结果，有助于基金市场的健康发展。
财经快讯
· 2024-11-13
