ttok 发布 0.4 与 1.0,默认分词器切换
热点事件观察中
ttok 发布 0.4 与 1.0,默认分词器切换
2 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Simon Willison 发布 token 计数 CLI 工具 ttok 的 0.4 版本,随后又发布 1.0 版本,将默认 tokenizer 从 GPT-4 切换为 GPT-5/GPT-6。 0.4 版本修复了 Click 警告、更新了 CI,并新增 --list-models 命令用于列出可用模型。该工具基于 OpenAI 开源的 tiktoken 库,支持通过 uvx 直接运行,例如 cat file.txt | uvx ttok 即可统计 token 数。 Willison 称,切换默认分词器是他决定发布 1.0 版本的理由。
AI 根据报道生成 · 4 小时前更新
事件进展
2 个进展
- 10月9日 08:34 · 1 篇报道发布 ttok 1.0,默认分词器切换为 GPT-5/GPT-6Simon Willison:Simon Willison 发布 ttok 1.0,默认 tokenizer 从 GPT-4 切换至 GPT-5/GPT-6
- 10月9日 07:34 · 1 篇报道ttok 0.4 更新发布Simon Willison:ttok 0.4 发布:新增 --list-models 命令
报道时间线
沿着报道,了解事件的不同侧面。
10月9日
- Simon WillisonSimon Willison 发布 ttok 1.0,默认 tokenizer 从 GPT-4 切换至 GPT-5/GPT-6
Simon Willison 发布 ttok 1.0,将默认 tokenizer 从 GPT-4 切换为 GPT-5/GPT-6。
- Simon Willisonttok 0.4 发布:新增 --list-models 命令
Simon Willison 的 token 计数 CLI 工具 ttok 发布 0.4 版本,修复了 Click 警告、更新了 CI,并新增 --list-models 命令用于列出可用模型。该工具基于 OpenAI 开源的 tiktoken 库,支持通过 uvx 直接运行,例如 cat file.txt | uvx ttok 即可统计 token 数。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。