阅读视图

发现新文章,点击刷新页面。

AI 硬件时代,手机不会轻易的狗带|AI 器物志

智能手机统治了过去十几年的数字生态,它是注意力的黑洞,是我们最私密的随身之物。但手机从设计之初就是为「人盯着它」而生的——它的全部逻辑,都止于屏幕。

AI 的需求却恰恰相反:它需要持续感知物理世界——见你所见,听你所闻,随时在场,而非等你解锁屏幕才醒来。

当 AI 真正成为一种基础能力,它迟早要从屏幕里破壳而出,寻找属于它自己的形状。这将是一个漫长的探索和演化过程。

「AI 器物志」栏目由此而来,爱范儿想和你一起持续观察:AI 如何改变硬件设计,如何重塑人机交互,以及更重要的——AI 将以怎样的形态进入我们的日常生活?

这是「AI 器物志」的第 11 篇文章。

说起来,你有多久没有尝试把手机接到显示器上了?

在曾经那个硬件形态百花齐放的「前智能机」时代,我们总希望能够从里面榨取出更多的使用场景——

无论是展开变成 QWERTY 键盘,还是滑盖变成一台小电脑:

如今智能手机的形态虽然变得单调,但我们实际上从来都没有忘记「把手机变成点儿别的什么形态」这件事。

安卓电脑

在最新的 Android 17 Beta 3 中,谷歌就上线了那个传闻已久的「桌面模式」,允许用户将 Pixel 手机外接显示器之后,投屏出一个近似 PC 布局的桌面:

此时再接上蓝牙鼠标和键盘,那么这台 Pixel 9 Pro 在功能性上已经非常接近一台小电脑了,顺便还能运行 Android 应用:

实际上,对于谷歌来说,Android 17 桌面模式其实有个更浅显易懂的名字:ChromeOS 模式。

毕竟两者都是类 Unix 架构,在谷歌推动 GKI 通用内核(Generic Kernal Image)的大背景下,说 Android 正在与 ChromeOS 融合也不为过。

只不过 Android 17 Beta 3 的桌面模式还不是完全体,无论是在功能性还是流畅度上都还有许多优化的空间。

Android 17 中完全没有为显示器优化的通知/控制中心

相比快十岁的三星 DeX 来说,Pixel 桌面模式在分辨率调整、布局逻辑、交互设计等等方面还有很多不成熟的地方,现阶段只能算是「勉强能用」。

DeX 已经支持最高 4K 分辨率和类 Windows UI

考虑到谷歌近两年推送新功能的速度,这套桌面模式在 Android 17 生命周期内可能不会成为正式上架

或许在今年 5 月的 Google I/O 大会、以及后续 Android 18 beta 上,我们才会见到一个完成度接近 DeX 的版本。

谷歌去年展示的桌面模式 demo|Google

不过 Android 17 Beta 3 虽然不行,但「将手机拓展到其他交互媒介」思路本身却是非常有前景的。

这种「以一变多」的逻辑,在面对如今的专用 AI 硬件时,显得尤为发光发热。

数字中枢

设想这样一个场景——

你拿着一台手机,连接桌子上的显示器,它就显示一个功能完整的类 PC 桌面,所有的交互和操作都可以通过键鼠完成。

转过头来,把手机从显示器上拔下,通过无线串流的方式连接到 AI 眼镜,刚刚显示的 PC 模式就丝滑地切换成了 XR 模式:

Android XR 演示 UI|Android Authority

虽然目前无论是最新的 Android 17 与 Pixel 10 Pro,还是尚未开售的 Android XR,都暂时无法实现这样的使用场景。

但这种「基于手机串流」的未来,距离我们并不远。

即便对 Vision Pro 这样自带处理器的产品来说,串流依然是不可或缺的使用场景,尤其是作为 Mac 的拓展显示器:

图|UploadVR

前些天,Valve 正式为 visionOS 带来了官方的 Steam Link app,让 Vision Pro 直连 PC 玩游戏不再需要折腾第三方串流客户端了。

从 TestFlight 版本的体验来看,Vision Pro 版本的 Steam Link 体验在普通的家用网络环境下几乎已经可以做到零延迟串流。

甚至对于穿越机模拟器《Liftoff》之类的超快节奏的游戏也能胜任:

图|YouTube @Himels Tech

背后的原因很简单:无论软件生态、交互模式,还是基础性能和续航,将新硬件与现有设备串流,永远比单独开发新的 AI 系统、软件和交互要便捷省时许多。

这个串流的来源既然可以是电脑,那为什么不能是手机呢?毕竟连 A18 Pro 都可以运行完整版 macOS 了。

同理,这种「将运算的重担交给手机」的串流模式除了放在 AR、XR 头显上,自然也可以平移到各种形态的 AI 新硬件上——

事实上,现在的绝大多数 AI 硬件就是这么做的。

图|Heise

近有 PLAUD Note 录音卡,远有 Meta Ray-Ban 智能眼镜,虽然都是独立的产品,但运行逻辑却离不开手机——

AI 硬件自身仅作为采集信息和用户交互的媒介,但运算、AI、归档等等,其实都是在手机和云端完成的。

All in one

另一方面,除了运算逻辑之外,现阶段我们能够看到或者买到的所有 AI 硬件,无论眼镜、耳机、戒指、吊坠,都面临着一个绕不开的问题:

人类电池科技被智子封锁,所有这些小物件的续航都难以突破。

图|Android Central

这和我们期盼的「AI 硬件能够成为全天候服务我们个人生活」的初衷是相违背的,在某种程度上也促成了如今这个硬件市场不温不火的现状。

纵使硬件或者 AI 功能再强大,「不能像手机一样持久、普适、全能」,就是会非常影响人们的使用意愿。

图|Museum of failure

然而手机没有这种问题。

一方面来说,我们已经习惯了手机的使用节奏,从早上起床到凌晨上床,顶多充一会电,基本不会出现某些可穿戴 AI 硬件那种「突然暴毙」的情况。

另一方面则更根本一些——

手机在本地算力、软件生态、内容容量方面,都是早已建成的「基建」,AI 硬件将自己化身为手机的延伸,最显著的优点就是可以省下重复发明轮子的麻烦。

摩托罗拉 AI 吊坠,需要搭配 moto 手机使用|Times of AI

说得更直白一些:要想富,先修路。

手机作为目前最全能、最普世的随身智能设备,就是那条已经修好的「路」。

而 AI 硬件要想得到消费群体的接受,就必须先沿着这条路走出来,然后才有资格谈「如何革手机的命」。

在庆祝公司成立 50 周年前夕,苹果全球营销高级副总裁格雷格·乔斯维亚克(Greg Joswiak)和硬件工程高级副总裁约翰·特努斯(John Ternus)接受一次了《连线》杂志的采访。

格雷格(右)与约翰(左)|Tom’s Guide

而在谈到「苹果是否希望现在市面上各种 AI 新硬件中有苹果的身影」问题时,格雷格·乔斯维亚克这样回答道:

我们不能忽视一个事实,即你刚才所说的一切都与 iPhone 并不冲突,iPhone 不会消失。在刚刚谈论的(为 AI 设计一种专门硬件)任何事情中,iPhone 都将扮演核心角色。

换言之,苹果认为——即使在 AI 专用硬件的市场出现之后,人们依然会选择 iPhone 作为个人智能设备的中枢。

对于这个问题,格雷格补充道:

这正是其他所有人(厂商)挣扎的地方:它们没有 iPhone,所以它们正在拼命寻找出路。(AI 硬件厂商)谈论的很多东西最后都成了 iPhone 的配件,我们不会透露未来的路线图,但我可以告诉你,iPhone 哪里都不会去。

而在《连线》杂志后续采访蒂姆·库克有关苹果未来 50 年的计划时,在谈及苹果的人才、价值观和文化之后,库克也给出了一个相似的回答:

是的,未来的技术会改变;是的,会有更多的产品和品类,这些都是事实。但让苹果成为苹果的东西,在未来的 50 年、100 年甚至 1000 年里都会是一样的。

这里说的当然不是 iPhone,而是苹果设备作为人们的数据数字中枢这件事情本身。

图|Chad Madden

无论 OpenAI 或者其他 AI 厂商做出什么「AI 专用产品」,哪怕是在 AI 与硬件形态深度融合的时代,手机依然会是我们日常生活中不可或缺的数据中枢,就像二十年前的 PC 一样。

我们甚至可以说,随着云端模型越来越强大、侧端数据越来越复杂,手机作为能够连接外设、人体、与云端的「桥梁」,重要性只会越来越高。

未来的 AI 硬件不一定长得像手机,但它的灵魂一定离不开手机。

#欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。

OpenAI「复活」了 QQ宠物,网友直接玩疯,把奥特曼和他死对头都养在了电脑里

谁不想在自己的电脑上养一只小宠物,打开电脑,它就坐在那里看着你工作。

OpenAI 最近在 Codex 上的更新,引入了类似电子宠物 Tamagotchi 的桌面悬浮伴侣。

我们可以在摸鱼的时候,把鼠标悬浮到小宠物上逗它,还能拖着它在屏幕的各个位置游走;而在工作的时候,这只悬浮宠物还会实时显示 Codex 的工作状态。

和之前 Anthropic 在 Claude Code 终端里推出的像素宠物不太一样,Codex 的这只会全局地在我们的电脑上呈现。无论切换到哪个 App,它都在那个角落。

以前是人与人的聊天软件里,像是 QQ,需要一个 QQ 宠物从桌面右下角蹦出来,给它取一个名字,建立情感的联系,而它会告诉我们消息来了。

现在这件事,来到了人与 AI 的故事里。

从微软大眼夹到 Mac 访达笑脸,万物皆可宠物化

Codex 官方内置了 8 款像素风的基础宠物,包括默认原始的经典 Codex 形象,还有一只整洁的小鸭子 Dewey、适合快速迭代项目的火球 Fireball,以及一只小小的蓝屏捣蛋鬼 BAOD(Blue Screen of Death) 等。

我们可以在 Codex 设置>外观 最下面的宠物部分找到配置的相关信息。

▲Codex:最初的 Codex 伙伴。|Dewey:一只整洁的小鸭,适合平静工作的日子。|Fireball:热路径能量,适合快速迭代。|Rocky:当 diff 变得很大时,它是一块稳稳的石头。|Seedy:为新想法冒出的小绿芽。|Stacky:一个平衡的堆叠,适合深度工作。|BSOD:一只小小的蓝屏捣蛋鬼。|Null Signal:来自虚空的安静信号。

但真正有意思的是,Codex 的自定义宠物功能。

通过使用 Codex 自带的 /hatch 指令,我们可以上传任何图片,Codex 会自动把它孵化成一个动画宠物,并保存在本地文件夹中,方便我们打包分享给其他人。

使用 /hatch 指令之前,我们还需要输入命名 $Skill Installer hatch-pet 来安装自定义宠物的 Skill。它会自动从 OpenAI 的官方 GitHub 仓库里面,下载对应的 Skill 文档。

▲Skill 文档链接:https://github.com/openai/skills/tree/main/skills/.curated/hatch-pet

准备就绪,我们使用 hatch pet Skill 输入 $hatch-pet 做一个 labubu 的桌面宠物

Codex 会自动按照 Skill 里的流程,先生成一张主图,根据这张主图再生成 idle、running-right、running-left、waving、jumping、failed、waiting、running、review 等多种不同状态图片。

每一种状态,Codex 都会生成 4-8 帧的图片。

等待它生成全部状态的图片,合成为动画,我们就能得到一个自定义的桌面电子宠物。

社交网络和开发者社区也利用这一功能,创作了大量能提升 vibe coding 幸福感的桌面宠物。

像是恶搞 Anthropic CEO,做了一个愤怒的达里奥,还有奥特曼,「一个有趣的像素风格 Sama 灵感宠物,带着焦虑的斜视眼睛,头上戴着太阳镜,穿着灰色T恤和牛仔裤,散发出混乱会议室的能量。」

▲Codex 宠物大全,PetShare 平台:https://codex-pet-share.pages.dev/

一些怀旧党立刻复刻了微软经典的大眼夹(Clippy),那个在我们新建文件、打开文件夹,都会跳出来,多两句嘴的桌面宠物,用 Codex 获得了新生。

苹果粉丝,就用 Codex 这套 Skill 做了一个相当生动的 Mac Finder(访达)笑脸小人 Lil Finder Guy,让它悬浮在程序坞上方,仿佛系统原生的一部分。

甚至还有人做出了乔布斯版本的宠物,以及像是 DeepSeek 的那只鲸鱼等。

▲另一个宠物社区,Petdex:https://petdex.crafter.run/

▲ 来源:https://x.com/GOROman/status/2050343893921923145

在极短的时间内,PetShare 和 PetDex 这样的社区驱动型宠物图鉴网站,如雨后春笋般涌现。

多邻国的那只猫头鹰、经典动漫角色龙珠里的悟空、神探福尔摩斯、旅行青蛙、哈利波特、哆啦 A 梦等等,都成了 Codex 的热门宠物选择。

▲电影《拯救计划》里的 Rocky

为了给这波热潮添把火,OpenAI 甚至官方下场举办了比赛:只要你生成的宠物被官方选入「最喜爱的 Top 10」,就能获得 30 天的 ChatGPT Pro(200 美元/月)奖励。

我们也在 Codex 里生成了一些小宠物,都是通过简单的两三个字的提示词。像是「做一个原神里旅行者荧的桌面宠物」,不过需要注意的是,生成自定义宠物需要的时间较长,同时消耗的额度也比较大。

▲ 在生成第二个桌面宠物时,直接提示 5 小时内额度用完了。

更多 Codex 桌面宠物案例:

PetShare:
https://codex-pet-share.pages.dev/#/?sort=popular

PetDex:
https://petdex.crafter.run/

电子宠物是 AI 的灵动岛

把这些自定义的宠物放到 Codex 里面也非常简单,可以直接下载文件压缩包,复制到对应的文件夹,然后在设置里进行选择。

直接在 Codex 中输入简单的 /pet 指令,我们的桌面上也能快速召唤出一个活蹦乱跳的电子宠物。

这个电子宠物,除了可爱,还确实有一点用处。

它不写代码,不 debug,唯一的工作是偶尔弹出对话气泡,告诉我们 Codex 正在后台做什么——「思考中」「任务完成」「需要你来决定一件事」。

任务完成了,点它一下,直接回复,继续。

▲ 一边刷 X,一边提醒我 Codex 进度

以往我们无论是用 Claude Code、OpenClaw,还是就在 DeepSeek 里面聊天,把一个任务交给他们,总是时不时需要切回对应的窗口,看看它是不是卡住了,是不是还在思考。

现在,这只悬浮在屏幕最顶层的宠物,会通过气泡和动作告诉我们 Codex 的后台状态。

基于生成的多种状态,这只桌面宠物,如果开始在挠头了,就说明它正在「思考」;它弹出气泡,就说明它完成了任务,或者需要我们提供进一步的输入。

更有意思的是,如果我们在它发消息时点击它,就可以直接开启一条回复 AI Agent 的双向通道。它就像是 macOS 桌面上的一个跨应用灵动岛,让我们在专注当前工作流的同时,对 AI 的进度了如指掌。

一直在更新的 Codex

电子宠物的功能在社交媒体上给 Codex 带来了又一波的好评,网友们都在说,这也太可爱了,情绪价值非常到位。

看着自己喜欢的小宠物在桌面上跳动,要比看着进度条转圈要心情好上不少。

但 Codex 这次在更新桌面宠物的同时,还悄悄放了两个新功能。

Codex 现在能够自动检测我们的电脑上,是否有其他 AI 编程工具,比如 Claude Code 留下的配置文件。

一旦检测到类似如 CLAUDE.md 的文档,它会主动建议并一键导入所有的插件、项目约定和自定义规则。

如果你也是为了避开不同平台的使用频率限制,让在多个 AI 之间反复横跳,这项更新降低了一定的切换成本。

另一项更新是在 Codex 内新增了「听写词典」,允许我们预先录入个人的常用缩略语和短语。

对于习惯用语音让 AI 写代码的用户来说,专有名词和缩写经常会被错误识别,导致反复修改。现在通过添加对应的条目,可以让减少我们纠错的麻烦。

OpenAI 也开始用最频繁的更新,把用户留在自己的生态里。

配置文件的跨端迁移、更懂用户的语音工具,加上那些在屏幕上挥手、打盹、偶尔还会抖动一下的悬浮宠物……

奥特曼在 X 发文说,感觉 Codex 正在经历 ChatGPT 时刻。

虽然事后奥特曼解释是 Goblin 时刻,但是 Codex 这接二连三的更新,也能看到 Codex 确实正在向一个更完整的、具备极高粘性的桌面「超级应用」进化。

在 AI 能力逐渐同质化的今天,产品的魅力和情绪价值,变得和代码生成能力一样重要

就像那位做出 Lil Finder Guy 宠物的网友,分享了一段 AI 发给他的话,宠物用乔布斯的腔调说:

致敬那些小小的存在,那些悬在 Dock 上摇摇晃晃、时不时打个盹的小帮手,它们让工作变得轻一点。致敬 Codex 宠物。

好了,看着桌面上那个正冲我挥手的像素小怪物,我可能也得出门去溜达一圈了。

#欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。

Claude 封号限流砍权益,OpenAI 趁机用 Codex 稳稳接住你

天下苦 A 社久矣。

这是前段时间 Anthropic 持续推出各种功能,但是一边又不断加强使用限制,读者在评论区最普遍的反应。

本身就是御三家(OpenAI、Google、Anthropic)里对使用限制最严格的一个,另一边又加码推出身份验证,实名制才能使用。今天凌晨,再把 Pro(20 美元/月)用户的 Claude Code 使用权给砍了。

Anthropic 的增长负责人出来回应,提到他们正在对约 2% 的新专业用户注册者进行小规模测试,现有 Pro 和 Max 用户不受影响;并表示目前的订阅计划无法应对用户大量的 Token 消耗,他们在研究新的付费方案。

▲来源:https://x.com/TheAmolAvasare/status/2046724659039932830

OpenAI 这边也立马回应了 Claude Code 踢掉 Pro 会员的争议,一位 Codex 负责人 Rohan Varma 直接怼脸和 Claude Code 竞争,连发文格式都和 Claude Code 一样。

▲来源:https://x.com/rohanvarma/status/2046769635350241292

Anthropic 为 2% 的用户测试更贵的计划,而 Codex 给 100% 用户测试,让免费和付费套餐都能使用 Codex。还特别调皮的加了一句「Claude Code 用户不受影响。」

▲Claude Code 用户 PAY(付钱),Codex 用户 PLAY(玩)

另一位 Codex 负责人 Tibo,也在 X 发文说 Codex 将继续提供免费版和 PLUS 版(20 美元/月),还提到 OpenAI 拥有足够的算力和厉害的模型来支持 Codex 的运作

奥特曼也转发了这条推文,表示 「我们希望你们可以有大量的 AI。

▲来源:https://x.com/sama/status/2046752492093165708

Codex 口碑在社交媒体上一直不算太差,尤其是前段时间 OpenAI「大撒币」,先是说为了让每个人都能体验到 Codex 推出的相关插件,给所有订阅计划都重置了使用限制

4 月初,Codex 发现用户达到使用限制的频率增加,且未找到背后的原因,干脆就重置了所有用户的额度限制。几天前,为了庆祝 Codex 周年庆和新功能上线,又一次重置了所有套餐的用量限制

今天,Codex 负责人和奥特曼再发推文,表示不到两周 Codex 增加了 100 万新用户,为了庆祝这件事,Codex 的速率限制又又又重置了。

▲来源:https://x.com/sama/status/2046604989527912590

早在上周 Anthropic 发布 Opus 4.7 的那天,Codex 就更新了一大堆重要功能,Computer Use、内置浏览器、持久记忆,以及 90 多项插件。

这些更新几乎是直接对标 Claude Cowork 的功能,把 Codex 从一个听着就像是给开发者用的工具,重新变成了一个适用于电脑所有场景的效率助手工具。

昨天,Codex 在此前推出记忆功能的基础上,又上线了一项名叫「Chronicle」的研究预览功能,让 AI 能读我们的屏幕,把我们最近做过的事整理成记忆。

Codex 不再只依赖聊天记录来理解上下文,结合它读取的近期屏幕内容,我们给它发送「这个」、「那个」,Codex 能知道我们到底指的是什么。

今天刚刚发布的 GPT Image 2 也已经集成到了 Codex 里。我们可以在 Codex 生成并迭代图像,在一套工作流里,从产品原型、前端设计,到视觉效果图和游戏开发等任务,使用 GPT Image 2 快速生成视觉元素。

如果你的 Claude 账号总是被封,用不了官方的 Claude Cowork、Claude Code 桌面版,又或者是那 2% 的新用户,开通了 20 美元/月的 Pro 会员也用不了 Claude Code,不妨来试试 OpenAI 出品的 Codex。

从代码工具到全能助手

Codex 最近这段时间的更新,最重要的莫过于上周发布的 Computer Use。这项能力并不算新鲜,之前是模型有 Computer Use 的能力,现在是需要工具也要有配套的支持,才能发挥模型能力。

它本质上就是 Agent 工具可以像人类操作电脑一样,通过视觉识别、点击和输入,自主操控电脑上的各类应用程序。

之前的 Codex 操作电脑上的软件,是通过一些命令来执行不同的应用任务,整体更像是我们喊「Siri,明天的天气怎么样」,做这些比较简单的任务。

有了 Computer Use 的能力之后,不仅支持一些调用 API 或者终端命令的工具,还能真的能帮我们完成一些电脑上的实际操作,尤其适合前端调试、应用测试、操作没有开放 API 的软件。

而且支持多个智能体并行在 Mac 上工作,不会影响我们正常使用其他应用。

需要注意的是,Computer Use 的能力只支持 macOS 15 以上的版本,我们的电脑(macOS 14.6.1)在测试 Codex 时,会自动弹出一个 SkyComputerUseClient 的问题报告。

另外,现在 Codex 支持内置浏览器,能更好地处理 Web 场景。我们在 Codex 里生成的网页,可以直接在网页上标注,给 Codex 更精准的操作指令,对一些前端、应用和游戏开发的快速迭代非常有用。

▲从 Coding、设计、生活方式、生产力到研究,Codex 现在有丰富的插件系统来处理各项任务

这次的更新还新增了 90 多个插件和更丰富的工具集成,让 Codex 能接入更多工具、获取更多上下文,并跨平台执行操作,提到的热门插件包括 Atlassian Rovo(JIRA)、Microsoft 套件、Neon by Databricks、Remotion、Render、Superpowers 等。

在 Codex 应用里,我们只需要输入斜线就能快速进入一些关于 Codex 的配置,输入 $,则可以选择不同的 Skills,包括我们安装在本地的各种 Skills。

同时,在自动化任务上,Codex 的 Automation 功能升级后,可以复用之前的对话线程,保留已有上下文。新的自动化还支持 Codex 自主规划后续工作、自动在未来某个时间继续执行任务,以及支持持续数天甚至数周的长期任务。

官方提到这项更新主要用于代码的提交合并、跟进日常工作生活的待办事项,以及跨越不同平台和工具的信息追踪等任务。

还有一些对于桌面应用交互的小更新,像是增加了多标签页的终端窗口,侧边栏可以直接打开文件,预览 PDF、表格、PPT 等文档。

新的摘要面板,也可以持续跟踪当前执行任务的计划和进度、参考信息来源,和输出结果等。这些应用上的增强,也让 Codex 在整体上更像是一个统一的工作台,而不再是单一的对话窗口。

用定时截屏的方式来维护 Agent 记忆

个性化的记忆功能向来就是 AI 的一大难题,虽然 AI 博古通今能记住所有的知识,但是对于每个用户的私人记忆处理,工作记忆等,AI 需要用不会占据大量的 Token,同时又能记清楚的方式来处理日复一日的对话。

尤其是现在到了 Agent 这类巨消耗 Token 的任务上,每个用户每天产生的上下文,如果 Agent 要全部记住,估计再来一百万 Token 上下文也难顶住。

上周 OpenAI 就已经为 Codex 带来了记忆功能,它可以记住我们的个人偏好、之前做过的修正,以及一些不容易获取但很重要的信息。

而为了获取更多的记忆,更快地处理我们的工作流。Codex 这次推出的 Chronicle 功能,说白了就是看我们的屏幕,记住我们的工作,再把这些记忆喂给 AI。

具体来说,在 Codex 设置>个性化里面,开了 Chronicle 功能之后,会自动执行这些操作:屏幕上下文捕获 → 本地临时截图 → 后台代理分析 → 临时 Codex 会话总结 → 生成本地 Markdown 记忆 → 后续会话中作为上下文使用。

Codex 获取了屏幕录制和无障碍权限之后,Chronicle 会在后台运行一个沙箱 Agent,这些 Agents 使用默认模型 GPT-5.4-mini,基于捕获到的屏幕图像,周期性地启动一个临时的 Codex 会话,把最近的屏幕上下文整理出记忆。

屏幕截图只会临时保存在本地,Codex 提到运行期间,超过 6 个小时截图会被自动删除。

▲GPT Image 2 生成的信息图

以后我们和 Codex 对话,它会自动检索这些记忆文件,作为上下文来使用,减少我们重复描述背景的需要。

OpenAI 官方也给了多个案例,像是如果不开启 Chronicle,Codex 不知道我们说的「这里会失败」,是指的什么。

以及针对一些个人任务中出现的人名、项目名等,在通用知识外的内容,Codex 也会根据 Chronicle 获取的信息,自动补充上下文。

能够捕获屏幕图像,也意味着使用 Codex 处理任务的全流程,Chronicle 都能记住。包括我们的工作流,常用的工具。像下面的例子里,使用了 Chronicle 的 Codex 会知道这份宣传材料使用何种格式,以及何种工具,是 Google 文档还是 Markdown 文档。

不过这项功能也面临着一些争议,例如视觉识别的方法会消耗大量的 token,更严重的是这些截图可能包含我们屏幕上可见的敏感信息。

虽然 OpenAI 说所有保存的记忆都会存放在本地的 markdwon 文档里,用户可以随时查看,Codex 根据这些截屏获取到了哪些信息。但是他们也提醒用户,当 Chronicle 截屏到一些有风险的网站时,网站可能通过提示词注入的方式,在屏幕上隐藏一些恶意指令,让 Codex 执行。

Chronicle 这项功能目前仅向 ChatGPT Pro(200 美元/月)用户开放,支持 macOS 版本的 Codex 应用,作为研究预览版推出。待 Chronicle 正式上线之后,相信 Codex 会把它开放给更多用户使用。

手机遥控、电子宠物、「Hermes Agent」都有机会上线

这段时间,Codex 被网友们称作是一款正在用力追赶 Claude 的产品。虽然一方面是在说 OpenAI 没有主见,随大流。但另一方面,能看到好的产品之间展开你追我赶的竞争,对我们用户来说未尝不是一件好事。

Codex 开发者在 X 上问大家对 Codex 有何意见,网友们非常积极的表示,要加上手机控制功能,还有人说 Codex 也应该从 ChatGPT App 里面进入。而这些都是 Claude 目前已经做到的功能。

也有网友在下面反馈 Codex 存在的各种 Bug,像是内存泄露、会话只能存档不能删除等问题。

最新的 Codex 更新爆料里还提到,Codex 也打算做一个小小电子宠物,放在 Codex 桌面上,来提示用户目前会话的各种状态。

这个电子宠物共有 8 种预设形象,用户还可以创建使用自己的虚拟形象。

▲来源:https://x.com/testingcatalog/status/2046366630528143827

另一个爆料则提到 OpenAI 正在为 ChatGPT 开发智能体(代号 Hermes),其中包括智能体构建器、模板、日程安排、在 Slack 中使用智能体的选项、添加应用程序、技能、文件、内存、指令等功能。

▲来源:https://x.com/btibor91/status/2046545878538961304/

眼下的 Codex 是一个活跃开发的产品,OpenAI 必然不会把本地 Agent 产品这一块的市场拱手让给 Claude。

别说 OpenAI 这位 AI 界的老大哥,前几天,Gemini 也不声不响地发布了桌面版应用,但是被一众网友评价「拉爆了」。

只能鼓励一下 OpenAI 和 Gemini,赶快结束 Claude 在本地 Agent 助手和代码这块的领先地位。

天下苦 A 社久矣。

#欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。

❌