“越大越好”的路径走不通？OpenAI正在寻求训练模型的新方法
很多人工智能(AI)科学家和初创公司认为，通过增加更多数据和算力来扩大当前模型，以持续改进AI模型的方法正在走到尽头。因此，像OpenAI这样的AI公司正在寻求通过开发新的训练技术来克服当前面临的挑战，这些技术更像人类的思考方式。
自风靡全球的聊天机器人ChatGPT发布以来，科技公司都是通过增加更多数据和算力来扩大并改善AI模型。但现在，一些最杰出的AI科学家正在指出这种“越大越好”的局限性。
人工智能实验室Safe Superintelligence和OpenAI的联合创始人Ilya Sutskever近日表示，扩大预训练(训练AI模型的阶段，该模型使用大量未标记的数据来理解语言模式和结构)所取得的成果已经达到了一个平稳期，对提升模型性能的帮助有限。
Sutskever早期主张通过在预训练中使用更多数据和算力来实现生成式AI的巨大飞跃，这最终创造了ChatGPT。他今年早些时候离开OpenAI，创立了Safe Superintelligence。
Sutskever表示：“以前是规模扩张的时代，现在我们又回到了奇迹和发现的时代。每个人都在寻找下一个东西，这比以往任何时候都更重要。”
此外，Sutskever还承认他的公司正在研究一种扩大预训练规模的替代方法，但未透露更多细节。
新技术竞赛
大模型的所谓“训练”需要同时运行数百个芯片，成本可能高达数千万美元。考虑到系统的复杂性，它们更有可能出现硬件导致的故障；在测试结束之前，研究人员可能无法知道这些模型的最终性能，这可能需要几个月的时间。
另一个问题是，大语言模型吞噬了大量数据，而AI模型已经耗尽了世界上所有容易获取的数据。电力短缺也阻碍了训练运行，因为这个过程需要大量的能源。
为了克服这些挑战，研究人员正在探索测试时计算(test-time compute)，这是一种在所谓的推理阶段或使用模型时增强现有AI模型的技术。例如，模型可以实时生成和评估多种可能性，最终选择最佳前进路径，而不是立即选择一个答案。
这种方法使模型能够将更多的处理能力投入到具有挑战性的任务中，比如数学或编码问题或需要类似人类的推理和决策的复杂操作。
OpenAI研究员Noam Brown此前表示：“事实证明，让一个机器人在一盘扑克牌中思考20秒，与将模型放大10万倍、训练时间延长10万倍的效果相同。”
OpenAI 在其新发布的模型“o1”中采用了这项技术，与此同时，来自Anthropic、xAI和DeepMind等其他顶尖AI实验室的研究人员也在致力于开发自己的技术版本。
OpenAI首席产品Kevin Weil表示：“我们看到了很多低垂的果实，摘下来让这些模型变得更好。等到人们迎头赶上的时候，我们会努力开发新的技术。”
多位科学家、研究人员和投资者认为，这种新技术可能会重塑AI军备竞赛，并对AI公司所需求的各类资源产生影响。
（文章来源：财联社）
识别投资陷阱，了解投资炒股防骗信息，微信搜索关注【财途小站】公众号。
美联储最新消息！12月还可能降息？
美联储的降息政策对全球金融市场产生了深远影响。一方面，降息有助于降低企业融资成本，刺激投资和消费，推动经济增长。另一方面，降息也可能引发资产价格泡沫和金融风险，需要投资者保持警惕。
财经快讯
· 2024-11-14
A股十月回购榜新鲜出炉！
A股十月回购榜的出炉，不仅为企业信心提供了一次集体展示的舞台，也为市场风向的把握提供了重要线索。在这个信息爆炸的时代，投资者需要学会从纷繁复杂的数据中抽丝剥茧，抓住关键信息。回购行为作为连接企业、市场与投资者的桥梁，其背后蕴含的价值不容小觑。让我们期待，在未来的日子里，更多的优质企业通过回购等资本运作方式，不仅实现自我价值的提升，也为广大投资者带来实实在在的回报。
财经快讯
· 2024-11-14
股民关注起来！2025年A股交易日增加1天！
2025年A股交易日增加1天，虽然看似微不足道，但对于广大股民而言，却是一个值得关注和把握的机遇。随着资本市场的不断发展和完善，未来还将有更多类似的调整和优化。作为投资者，我们应该保持敏锐的嗅觉和开放的心态，紧跟市场的步伐，不断学习和提升自己的投资能力。只有这样，才能在风云变幻的股市中立于不败之地，实现财富的稳健增长。
财经快讯
· 2024-11-14
电信运营板块表现活跃！发生了什么？
昨日，三大运营商在股市中表现活跃，集体呈现上涨态势。中国联通涨停，中国电信、中国移动也涨幅可观。
财经快讯
· 2024-11-14
AI时代，光模块龙头股票一览！
AI技术的飞速发展正深刻影响着各个行业，光模块作为数据通信领域的关键部件，重要性愈发凸显，因此，其相关企业也是备受投资者的关注。
财经快讯
· 2024-11-13
中信证券预测：2025年A股将迎年度大涨行情
中信证券在2025年资本市场年会上发表最新观点，认为明年A股将迎来一轮年度级别的上涨行情，当前市场已站在起跑线上。中信证券首席分析师们对宏观经济、货币政策、财政政策及A股市场走势进行了详细解读，为投资者提供了有价值的参考。
财经快讯
· 2024-11-13
上海并购重组方案推进，抓住投资机会！
近期，上海在并购重组领域动作频频，市政府常务会议部署支持上市公司并购重组，还出炉了本地重组潜力股名单。这一系列举措引发市场关注，上海的并购重组浪潮将对经济发展和资本市场产生何种影响?
财经快讯
· 2024-11-13
速看！股市五大骗术曝光，无数股民已中招！
股市，这个充满机遇与挑战的地方，吸引了无数投资者的目光。然而，在股市的繁荣背后，却隐藏着一些不法分子的阴谋。他们利用各种手段，瞄准股民的钱袋子，企图从中谋取不义之财。今天，我们就来一起揭秘这些股市中的陷阱，让大家提高警惕，避免上当受骗。
财经快讯
· 2024-11-13
期货投资陷阱：3300人血亏2.24亿！这样理财等于送钱！
近期，兰州警方破获一起特大非法经营期货案，揭露了嫌疑人以期货交易之名行诈骗之实的罪行。此案导致3300余名投资者亏损2.24亿元，提醒广大投资者警惕投资市场中的迷惑性骗局。
财经快讯
· 2024-11-13
基金降费！已有多家银行宣布！
近年来，基金降费成为金融市场吸引客户和提升活跃度的重要手段。多家银行纷纷宣布对基金申购手续费率实行优惠，如农业银行、厦门银行、交通银行等，均推出1折费率优惠活动。此举背后是市场竞争加剧、监管政策推动及投资者需求多样化的共同结果，有助于基金市场的健康发展。
财经快讯
· 2024-11-13
