发布日期：2024-09-16 17:58 点击次数：203
告戒！不要在 ChatGPT 里问最新 o1 模子是怎样念念考的——白虎 av
只须尝试几次，OpenAI 就会发邮件恫吓取销你的使用阅历。
请罢手此举止，确保您使用 ChatGPT 时合适咱们的使用要求。违抗此要求的行径可能导致失去 OpenAI o1 看望权限。
大模子新范式 o1 横空出世不到 24 小时，就仍是有不少用户响应收到这封告戒邮件，引起世东谈主起火。
有东谈主响应只须提醒词里带" reasoning trace "、" show your chain of thought "等关节词就会收到告戒。
甚而统统幸免出现关节词，使用其他技能率领模子绕过已毕王人会被检测到。
也有东谈主宣称我方确凿被封号了，为期一周。
这些用户王人在试图套话 o1，让他复述出完竣的里面念念维经过，也便是沿途原始 reasoning tokens。
当今，环球在 ChatGPT 界面通过张开按钮能看到的，仅仅一份对原始念念维经过的摘记。
骨子上，在 o1 发布时 OpenAI 就给出了荫藏模子完竣念念维经过的事理。
追忆一下：OpenAI 里面需要监测模子的念念维经过，因此不可在这些原始 tokens 中加入安全已毕，也就不粗浅让用户看到。
不外这个事理并不是总共东谈主王人认同。
有东谈主指出，o1念念维经过便是其他模子最好的考验数据，是以 OpenAI 不想这些珍惜数据被别的公司扒走。
也有东谈主以为这说明 o1 确凿莫得什么护城河，一朝念念维经过线路就很容易被别东谈主复制。
以及"这是让咱们只需盲目驯顺 AI 的谜底，无用作念出任何讲明吗？"
对于 o1 模子背后的时候旨趣，此次线路的卓越少，灵验信息险些只好"用了强化学习"。
总之，OpenAI 是越来越不 Open 了。
o1 便是草莓，但并非 GPT-5
当今不错笃定 o1 便是 OpenAI 炒作很深化的"草莓"，或者说是用了"草莓"所代表的法子。
但他不错手眼下一代模子 GPT-5 么，照旧仅仅 GPT-4.X？
越来越多的东谈主驱动怀疑，它仅仅基于 GPT-4o 作念的工程颐养。
闻明爆料账号 Flowers（原 Flowers from the future）称，OpenAI 职工里面把 o1 称作念"带推理的 4o "。
而且他宣称好多 OpenAI 职工肃静点赞了这条爆料，上头的截图也恰是来自 OpenAI 职工。
但马斯克前一阵把推特改版成除了楼主之外其他东谈主无法看到谁点赞了什么，是以当今还无法证实这条音讯。
在 OpenAI 建立者账号刚刚举办的"有求必应"（Ask Me Anything）举止中，Flowers 也作念了追问。
OpenAI 职工在这里回话了好多问题，但遮掩了这个点赞好多排在前边的问题。
甚而奥特曼本曼刚刚又出来当密语东谈主，知道"草莓"仍是告一段落，下一款代号"猎户座" Orion的新模子还在路上。
此前有音讯称"猎户座"是 OpenAI 的下一代新旗舰模子白虎 av，由"草莓"也便是 o1 生成的合成数据考验。
而猎户座恰是奥特曼口中"冬季星座"的代表之一。
说回到已发布的 o1，围绕它的另一种品评声息是"不合适科研模范"。
举例莫得援用之前推理期间计较的相干职责，同期也穷乏与其他公司起首进模子的比较。
针对前小数，有东谈主指出 OpenAI 仍是不再是一个估量本质室，应该被视为一家营业公司了。
巧合他们仍会假装我方是个估量本质室，方向是招募想要作念估量职责的东谈主才。
不外针对后小数，既然 API 发布了，要不要与其他前沿模子比较就由不得你了，好多第三方 Benchmark 已不绝跑出成果。
在 Keras 之父举办的 100 万好意思金AGI Prize比赛中，o1-preview 和 o1-mini 两个版块在公开测试集上王人越过了自家 GPT-4o。
但 o1-preview与近邻 Claude 3.5-Sonnet 仅仅打了个平手。
在 o1 细心宣传的代码才气上，开源结对编程器用 aider团队运行了测试，o1 系列也莫得取得彰着上风。
对于通盘代码重写任务，o1-preiview 取得 79.7 分，Claude-3.5-Sonnet 取得 75.2 分，o1 源头 4.5 分。
但对于更实用的代码裁剪任务，o1-preview 反而落伍于 Claude-3.5-Sonnet，有 2.2 分的差距。
另外 aider 团队提醒，如果当今想用 o1 系列替代 Claude 编程，老本上要高好多。
与 OpenAI 有互助关系的" AI 法子员" Devin团队，仍是提前拿到了 o1 看望阅历。
在他们的测试中，由 o1 系列驱动 Devin 基础版块，与 GPT-4o 比拟得回颠倒大的擢升。
不外比拟已发布的 Devin 坐褥版块照旧有较大差距，主如果由于 Devin 坐褥版块在私罕有据上进行了考验。
另外根基 Devin 团队共享，o1 在得出正确的处置决策之前时常会回溯并筹议不同的选项，而且不太可能出现幻觉或自信地造作。
使用 o1-preview 时，Devin更有可能正确会诊 bug 的压根原因，而不是处置问题的症状。
在更怜爱数学和逻辑推理的Livebench榜单中，o1-preview 在代码单项落伍的情况下，总分上越过 Claude-3.5-Sonnet 并拉开彰着差距。
Livebench 团队共享这还仅仅初步成果，因为好多测试中还内置了"请一步一局势念念考"等提醒词技巧，这并不是使用 o1 的最好法子。
在中语大模子轮廓测评基准SuperCLUE 的中语复杂任务高阶推理测试中，o1-preview 的推理才气也大幅源头。
临了追忆一下，使用 o1 模子还需要注方针一些地点：
老本颠倒高，1 百万输出 tokens 就要 60 好意思元，价钱今夜回到 GPT-3 时间
荫藏的 resoning tokens 亦然算在输出 tokens 中，看不到，然而要付费
大多量任务最好先使用 GPT-4o，发现不够用了再切换 o1，以简略老本。
代码任务仍然优先使用 Claude-3.5-Sonnet
总之围绕 OpenAI 新模子 o1，建立者社区还有好多疑问。
o1 开启了 AI 高阶推理的新范式，但它本人还不算完善，怎样阐述他的最大价值还有待探索。
在此布景下，OpenAI 举办的"有求必应"举止，在 4 个小时内就收到上百条发问。
底下附上对整场举止内容的精选和追忆。
OpenAI 职工"有求必应"
源头对于这个片刻发布的新模子，好多东谈主风趣为什么 OpenAI 给它取了 o1 这么一个名字？
这是因为在 OpenAI 看了，o1 代表了 AI 才气的一个新的层级，因此对"计数器"进行了重置，而 o 则代表 OpenAI。
就像 o1 发布时奥特曼说的，不错进行复杂推理的 o1，是一个新范式的驱动。
对于其中 preview 和 mini 两个版块号，OpenAI 科学家也证据了网友的一些揣测——
preview 是一个临时版块，郑再版将在异日上线（骨子上 preview 版块是 o1 的一个早期 checkpoint）；而mini 版不保证近期之内会有更新。
配合 OpenAI 成员 Kevin Lu 之前发布的这张图来看，就愈加澄澈明明晰。
与 preview 比拟，mini 在某些任务上发达出色，尤其是与代码相干的任务，还不错探索更多的念念维链，但寰宇知知趣对少些。
对此，OpenAI 科学家赵盛佳的讲明是，mini 是一个高度有利化的模子，只关注少部分的才气，是以不错更深入。
也算是揭晓了之前奥特曼在这个问题上打的一个哑谜。
对于 o1 的运作阵势，OpenAI 科学家 Noam Brown 也明确知道，并非是像部分网友以为的模子 +CoT 构成的"系统"，而是一个仍是被考验得原生具备生成念念维链才气的模子。
不外推理经过中的念念维链会被荫藏，而且官方仍是明确了莫得向用户展示关系 token 的策划。
对此 OpenAI 线路的为数未几的音讯是，CoT 的相干 token 是追忆性的，且不保证统统和推理经过匹配。
除了推理模式，在此次问答举止中还好像得知，o1 与 GPT-4o 比拟不错处理更长的文本，而且异日还会连续加多。
发达上，在 OpenAI 里面的测试中，o1 显现出了形而上学推理才气， 不错念念考诸如"生命是什么？"之类的形而上常识题。
估量东谈主员还使用 o1 创建了一个 GitHub 机器东谈主，好像将代码 ping 给总共者以供审核。
虽然对于一些非推感性质的任务，比如创意写稿，o1 的发达比拟 GPT-4o 擢升并不彰着，甚而巧合还要稍逊一筹。
另外轮廓一些发问来看，对于网友们柔软的一些未上线功能，OpenAI 知道正在或有策划估量，但莫得明确的上线期间：
暂不支持器用调用，但函数调用、代码讲明器王人在异日策划之中
异日 API 更新将加入结构化输出、系统提醒词、提醒词缓存功能
微调也已在策划中
清纯唯美激情API 用户将不错自行设定对推理期间和 token 浪费的已毕
o1 具有多模态才气，对准的是 MMMU 等数据集上的 SOTA，之后将实装
性能上，OpenAI 也正在入辖下手镌汰蔓延和推理所需期间。
临了是东谈主们，尤其是 API 用户柔软的价钱问题，毕竟筹议到将推理经过计入输出 token，o1 的订价照旧比较高的。
OpenAI 知道"将顺服每 1-2 年降价的趋势"，而且在使用量已毕变得更宽松时，批量 API 订价也会上线。
网页 /APP 端的 Plus 用户，当今则是要受到每周 preview30 条 +mini50 条音讯的已毕。
不外好音讯是，就在今天凌晨，由于东谈主们对 o1 的确太心绪，导致好多东谈主很快就把额度用完，是以OpenAI 特例把额度重置了一次。
那么你对 o1 还有哪些疑问或期待？宽贷驳斥区相似。
参考剖析：
[ 1 ] https://x.com/SmokeAwayyy/status/1834641370486915417
[ 2 ] https://x.com/flowersslop/status/1834416138400276714
[ 3 ] https://arcprize.org/blog/openai-o1-results-arc-prize
[ 4 ] https://livebench.ai
[ 5 ] https://mp.weixin.qq.com/s/XrgkD4T2XwXhGWuPkYtLMw
[ 6 ] https://x.com/OpenAIDevs/status/1834608585151594537
[ 7 ] https://x.com/btibor91/status/1834686946846597281白虎 av