“越大越好”的路径走不通？OpenAI正在寻求训练模型的新方法
很多人工智能(AI)科学家和初创公司认为，通过增加更多数据和算力来扩大当前模型，以持续改进AI模型的方法正在走到尽头。因此，像OpenAI这样的AI公司正在寻求通过开发新的训练技术来克服当前面临的挑战，这些技术更像人类的思考方式。
自风靡全球的聊天机器人ChatGPT发布以来，科技公司都是通过增加更多数据和算力来扩大并改善AI模型。但现在，一些最杰出的AI科学家正在指出这种“越大越好”的局限性。
人工智能实验室Safe Superintelligence和OpenAI的联合创始人Ilya Sutskever近日表示，扩大预训练(训练AI模型的阶段，该模型使用大量未标记的数据来理解语言模式和结构)所取得的成果已经达到了一个平稳期，对提升模型性能的帮助有限。
Sutskever早期主张通过在预训练中使用更多数据和算力来实现生成式AI的巨大飞跃，这最终创造了ChatGPT。他今年早些时候离开OpenAI，创立了Safe Superintelligence。
Sutskever表示：“以前是规模扩张的时代，现在我们又回到了奇迹和发现的时代。每个人都在寻找下一个东西，这比以往任何时候都更重要。”
此外，Sutskever还承认他的公司正在研究一种扩大预训练规模的替代方法，但未透露更多细节。
新技术竞赛
大模型的所谓“训练”需要同时运行数百个芯片，成本可能高达数千万美元。考虑到系统的复杂性，它们更有可能出现硬件导致的故障；在测试结束之前，研究人员可能无法知道这些模型的最终性能，这可能需要几个月的时间。
另一个问题是，大语言模型吞噬了大量数据，而AI模型已经耗尽了世界上所有容易获取的数据。电力短缺也阻碍了训练运行，因为这个过程需要大量的能源。
为了克服这些挑战，研究人员正在探索测试时计算(test-time compute)，这是一种在所谓的推理阶段或使用模型时增强现有AI模型的技术。例如，模型可以实时生成和评估多种可能性，最终选择最佳前进路径，而不是立即选择一个答案。
这种方法使模型能够将更多的处理能力投入到具有挑战性的任务中，比如数学或编码问题或需要类似人类的推理和决策的复杂操作。
OpenAI研究员Noam Brown此前表示：“事实证明，让一个机器人在一盘扑克牌中思考20秒，与将模型放大10万倍、训练时间延长10万倍的效果相同。”
OpenAI 在其新发布的模型“o1”中采用了这项技术，与此同时，来自Anthropic、xAI和DeepMind等其他顶尖AI实验室的研究人员也在致力于开发自己的技术版本。
OpenAI首席产品Kevin Weil表示：“我们看到了很多低垂的果实，摘下来让这些模型变得更好。等到人们迎头赶上的时候，我们会努力开发新的技术。”
多位科学家、研究人员和投资者认为，这种新技术可能会重塑AI军备竞赛，并对AI公司所需求的各类资源产生影响。
（文章来源：财联社）
识别投资陷阱，了解投资炒股防骗信息，微信搜索关注【财途小站】公众号。
化债概念龙头股一览
化债工作的推进使得化债概念龙头股备受关注。这些股票与化债进程紧密相连，其表现既受政策影响，又与公司自身实力和市场环境相关。
财经快讯
· 2024-11-22
热门国产半导体替代概念股
在半导体行业国产替代加速的背景下，国产半导体替代概念股备受关注。这些概念股涵盖了半导体产业链的多个环节，其发展不仅关系到企业自身的成长，更对我国半导体产业的自主可控具有重要意义，也为投资者带来了新的机遇与挑战。
财经快讯
· 2024-11-22
培育钻石价格暴跌80%，原因是什么？
培育钻石价格暴跌80%的原因主要包括供需关系的急剧变化、生产成本与市场竞争以及消费者需求的变化。这一变化不仅冲击了钻石行业的生态，也给相关企业和消费者带来了新的挑战和机遇。未来，随着市场的进一步调整和消费者认知度的提升，培育钻石市场有望迎来新的发展机遇。
财经快讯
· 2024-11-22
重磅！湖南黄金连续两日强势涨停！
湖南黄金连续两日强势涨停无疑给市场带来了不小的震动。无论是从行业趋势、公司业绩还是投资者情绪等多个方面来看，其股价的上涨都具有一定的合理性和必然性。然而，作为投资者而言，在追逐热点的同时也应保持冷静和理性，切勿盲目跟风炒作。毕竟，资本市场的波动总是充满了变数和挑战，只有把握住真正的投资机会和风险控制点，才能在激烈的市场竞争中立于不败之地。
财经快讯
· 2024-11-22
卫生巾行业接连爆雷，网友喊话小米生产卫生巾！
卫生巾行业接连爆雷的事件，再次提醒我们产品质量和安全的重要性。作为消费者，我们应该保持理性的态度，不盲目跟风，选择适合自己的产品。同时，我们也希望卫生巾行业能够加强监管，提高产品质量和安全标准，赢回消费者的信任。对于小米等科技公司来说，网友的呼声既是一种挑战也是一种机遇。
财经快讯
· 2024-11-22
券商“巨头联姻”！国君海通合并细节曝光，行业并购潮起？
近日，国泰君安与海通证券的合并重组有了新进展，两家公司发布了合并重组报告书（草案），明确了合并后的细节和配套募集资金用途。同时，西部证券收购国融证券控股权的事项也在推进中，券商行业并购重组趋势愈发明显。
财经快讯
· 2024-11-22
A股市场的“十大雷区”股票，你还在傻傻往里跳？
在A股市场，每一次牛市的到来都伴随着投资者的狂欢与梦想。然而，在这光鲜亮丽的背后，却隐藏着一些不为人知的风险与陷阱。特别是某些特定类型的股票，即使在大牛市的背景下，也被众多资深投资者视为“禁区”。接下来，就让我们一起揭开这十大“雷区”股票的神秘面纱。
财经快讯
· 2024-11-22
证券行业2025年展望出炉！盈利与估值都被看好！
证券行业在2025年将迎来更加广阔的发展前景。无论是从宏观经济环境还是行业内部变革来看，证券行业都具备持续盈利和估值提升的基础。然而，机遇与挑战并存。随着市场竞争的加剧和监管政策的不断变化，证券公司需要不断创新、提升服务质量，才能在激烈的市场竞争中脱颖而出。
财经快讯
· 2024-11-21
外媒：欧盟计划强迫中企转让技术换取欧盟补助！
欧盟计划强迫中企转让技术的做法不仅可能损害双方的利益，更有违国际贸易规则和市场经济原则。希望中欧双方能够加强沟通与合作，共同寻找更加合理、可持续的解决方案，以促进双方关系的健康发展。同时，我们也期待在未来的日子里，看到更多基于平等、尊重和互惠互利的中欧合作案例涌现出来。
财经快讯
· 2024-11-21
时隔1月，A股再现“炒名字”行情！
面对时隔一月再现的“炒名字”行情，投资者应保持理性态度，审慎分析市场动态。虽然这类行情短期内可能带来可观的收益，但长期来看，缺乏业绩支撑的股票往往难以维持高价。因此，投资者应更加关注公司的基本面、盈利能力以及行业前景，避免陷入投机陷阱。同时，监管机构也应加强对市场异常交易的监控，维护市场的公平与秩序，保障广大投资者的合法权益。
财经快讯
· 2024-11-21
