OpenAI员工爆料：新模型“没有那么大飞跃”
近日，据The Information报道，OpenAI的下一代旗舰模型可能不会像前面几代产品那样实现巨大的飞跃。
据报道，测试代号为Orion的新模型的员工发现，尽管新模型性能超过了OpenAI现有的模型，但进步程度并不如从GPT- 3到GPT-4那么大。
换句话说，OpenAI进步的速度似乎正在放缓。根据一些内部员工的说法，在诸如编程这类任务上，Orion并不比之前的模型更可靠。OpenAI员工和研究人员表示，GPT研发速度放缓的原因之一是高质量文本和其他数据的供应量在不断减少。
为应对这种情况，OpenAI成立了一个基础团队，以研究如何在新训练数据不断减少的情况下继续改进模型。据报道，这些新策略包括使用AI模型生成的合成数据对Orion进行训练等。
目前，OpenAI并未回应相关消息的评论请求。不过上个月OpenAI曾表示，“今年没有发布代号为Orion的模型的计划”。
在语言任务上表现更好
使用ChatGPT的用户数量正在飙升。不过，ChatGPT的底层模型改进速度似乎正在放缓。
OpenAI即将推出的旗舰模型Orion所面临的挑战显示了OpenAI所面临的困难。今年5月，OpenAI首席执行官阿尔特曼告诉员工，他预计正在训练的Orion可能会比一年前发布的上一款模型好得多。
The Information近日援引知情人士的消息称，阿尔特曼表示，尽管OpenAI只完成了Orion训练过程的20%，但就智能程度以及完成任务和回答问题的能力而言，它已经与GPT-4相当。
然而，一些使用或测试过Orion的OpenAI员工表示，虽然Orion的性能超过了之前的模型，但与GPT-3到GPT-4的飞跃相比，质量的提升要小得多。
OpenAI的一些研究人员认为，在处理某些任务方面，Orion并不比之前的模型更可靠。The Information援引OpenAI一名员工的话称，Orion在语言任务上表现更好，但在编码等任务上可能不会胜过之前的模型。其中一位员工表示，与OpenAI最近发布的其他模型相比，Orion在数据中心运行成本可能更高。
OpenAI 研究员 Noam Brown上个月在TED AI会议上表示，开发更先进的模型在财务上可能不可行。
“我们真要训练耗资数千亿美元或数万亿美元的模型吗？”Brown说，“在某个时候，扩展范式（Scaling paradigm）就会崩溃。”
数据资源被榨干了？
Scaling law是AI领域的一个核心假设：只要有更多的数据可供学习，以及额外的计算能力来促进训练过程，大语言模型（LLM）就会继续以相同的速度改进。
扎克伯格、阿尔特曼等也公开表示，他们尚未触及传统Scaling law的极限。
这就是为什么包括OpenAI在内的公司仍花费数十亿美元来建造昂贵的数据中心，以尽可能地从预训练模型中获取性能提升。
虽然理论上目前的模型并没有触及Scaling law的极限，但是可供使用的数据来源却快要干涸了。
OpenAI的员工和研究人员表示，GPT模型减速的一个原因是高质量文本和其他数据的供应不足。大语言模型需要在预训练期间处理这些数据，以理解世界和不同概念之间的关系，从而解决撰写文章或编程错误等问题。
The Information援引知情人士的消息称，过去几年里，大语言模型在预训练过程中使用了来自网站、书籍和其他来源的公开文本和数据，但模型开发人员基本上已经把这类数据资源榨干了。
已有合成数据用于训练
为了应对这种情况，OpenAI成立了一个基础团队，以研究如何在新训练数据不断减少的情况下继续改进模型。该团队由之前负责预训练的Nick Ryder领导。OpenAI表示，这个团队将研究如何应对训练数据的匮乏，以及Scaling law还能适用多长时间。
OpenAI的一名员工称，Orion的训练数据里有一部分是AI生成的合成数据。这些数据由GPT-4和最近发布的推理模型o1生成。然而，该员工表示，这种合成数据导致了一个新问题，即Orion 最终可能会在某些方面与那些旧模型相似。
软件公司Databricks的联合创始人兼董事长Ion Stoica表示，这种合成数据可能并不能帮助AI进步。
除此之外，OpenAI的研究者们在模型训练后阶段进行了额外的改进。比如，OpenAI采用了强化学习方法，通过让模型从大量有正解的任务中学习（比如数学或编程问题），以此来改进处理特定任务的方式。
同时，OpenAI还会请人工评估员对预训练的模型在特定任务上进行测试，并对答案进行评分。这有助于研究者调整模型，以更好地应对诸如写作或编程等特定类型的请求。这一方法，即附带人类反馈的强化学习，有助于改进之前的AI模型。
o1就是OpenAI使用这种改进手段得到的成果，o1模型在给出答案前，会花更多时间来“思考”大语言模型在训练过程中处理的数据。这意味着，即使不对底层模型进行修改，只要在回答用户问题时提供额外的计算资源，o1模型的回应质量就能持续提升。据知情人士透露，如果OpenAI能够持续改进底层模型的质量，哪怕速度较慢，也能显著提升推理效果。
“这为我们提供了一个全新的扩展维度。”Brown在TED AI大会上表示，研究人员可以通过将每次查询的成本从一分钱提升到十分钱来提高模型的响应质量。
阿尔特曼同样强调了OpenAI推理模型的重要性，这些模型可以与LLMs结合。阿尔特曼在10月份一个面向应用开发者的活动中表示：“我希望推理功能能解锁我们多年来期待实现的许多功能——例如，让这类模型有能力贡献新的科学知识，帮助编写更复杂的代码。”
但两位知情员工表示，o1模型目前的价格比非推理模型高出六倍，因此它没有广泛的客户群。
与此同时，o1模型的安全性也被很多人诟病，《自然》杂志就曾表示，在评估过程中，他们发现o1有时会遗漏关键安全信息，例如未强调爆炸危险或建议不适当的化学品控制方法。
值得一提的是，OpenAI安全系统团队负责人翁荔（Lilian Weng）近日宣布将离开已经工作了近7年的OpenAI。
（文章来源：每日经济新闻）
识别投资陷阱，了解投资炒股防骗信息，微信搜索关注【财途小站】公众号。
化债概念龙头股一览
化债工作的推进使得化债概念龙头股备受关注。这些股票与化债进程紧密相连，其表现既受政策影响，又与公司自身实力和市场环境相关。
财经快讯
· 2024-11-22
热门国产半导体替代概念股
在半导体行业国产替代加速的背景下，国产半导体替代概念股备受关注。这些概念股涵盖了半导体产业链的多个环节，其发展不仅关系到企业自身的成长，更对我国半导体产业的自主可控具有重要意义，也为投资者带来了新的机遇与挑战。
财经快讯
· 2024-11-22
培育钻石价格暴跌80%，原因是什么？
培育钻石价格暴跌80%的原因主要包括供需关系的急剧变化、生产成本与市场竞争以及消费者需求的变化。这一变化不仅冲击了钻石行业的生态，也给相关企业和消费者带来了新的挑战和机遇。未来，随着市场的进一步调整和消费者认知度的提升，培育钻石市场有望迎来新的发展机遇。
财经快讯
· 2024-11-22
重磅！湖南黄金连续两日强势涨停！
湖南黄金连续两日强势涨停无疑给市场带来了不小的震动。无论是从行业趋势、公司业绩还是投资者情绪等多个方面来看，其股价的上涨都具有一定的合理性和必然性。然而，作为投资者而言，在追逐热点的同时也应保持冷静和理性，切勿盲目跟风炒作。毕竟，资本市场的波动总是充满了变数和挑战，只有把握住真正的投资机会和风险控制点，才能在激烈的市场竞争中立于不败之地。
财经快讯
· 2024-11-22
卫生巾行业接连爆雷，网友喊话小米生产卫生巾！
卫生巾行业接连爆雷的事件，再次提醒我们产品质量和安全的重要性。作为消费者，我们应该保持理性的态度，不盲目跟风，选择适合自己的产品。同时，我们也希望卫生巾行业能够加强监管，提高产品质量和安全标准，赢回消费者的信任。对于小米等科技公司来说，网友的呼声既是一种挑战也是一种机遇。
财经快讯
· 2024-11-22
券商“巨头联姻”！国君海通合并细节曝光，行业并购潮起？
近日，国泰君安与海通证券的合并重组有了新进展，两家公司发布了合并重组报告书（草案），明确了合并后的细节和配套募集资金用途。同时，西部证券收购国融证券控股权的事项也在推进中，券商行业并购重组趋势愈发明显。
财经快讯
· 2024-11-22
A股市场的“十大雷区”股票，你还在傻傻往里跳？
在A股市场，每一次牛市的到来都伴随着投资者的狂欢与梦想。然而，在这光鲜亮丽的背后，却隐藏着一些不为人知的风险与陷阱。特别是某些特定类型的股票，即使在大牛市的背景下，也被众多资深投资者视为“禁区”。接下来，就让我们一起揭开这十大“雷区”股票的神秘面纱。
财经快讯
· 2024-11-22
证券行业2025年展望出炉！盈利与估值都被看好！
证券行业在2025年将迎来更加广阔的发展前景。无论是从宏观经济环境还是行业内部变革来看，证券行业都具备持续盈利和估值提升的基础。然而，机遇与挑战并存。随着市场竞争的加剧和监管政策的不断变化，证券公司需要不断创新、提升服务质量，才能在激烈的市场竞争中脱颖而出。
财经快讯
· 2024-11-21
外媒：欧盟计划强迫中企转让技术换取欧盟补助！
欧盟计划强迫中企转让技术的做法不仅可能损害双方的利益，更有违国际贸易规则和市场经济原则。希望中欧双方能够加强沟通与合作，共同寻找更加合理、可持续的解决方案，以促进双方关系的健康发展。同时，我们也期待在未来的日子里，看到更多基于平等、尊重和互惠互利的中欧合作案例涌现出来。
财经快讯
· 2024-11-21
时隔1月，A股再现“炒名字”行情！
面对时隔一月再现的“炒名字”行情，投资者应保持理性态度，审慎分析市场动态。虽然这类行情短期内可能带来可观的收益，但长期来看，缺乏业绩支撑的股票往往难以维持高价。因此，投资者应更加关注公司的基本面、盈利能力以及行业前景，避免陷入投机陷阱。同时，监管机构也应加强对市场异常交易的监控，维护市场的公平与秩序，保障广大投资者的合法权益。
财经快讯
· 2024-11-21
