跳到正文
热点事件观察中

ttok 发布 0.4 与 1.0,默认分词器切换

2 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

Simon Willison 发布 token 计数 CLI 工具 ttok 的 0.4 版本,随后又发布 1.0 版本,将默认 tokenizer 从 GPT-4 切换为 GPT-5/GPT-6。 0.4 版本修复了 Click 警告、更新了 CI,并新增 --list-models 命令用于列出可用模型。该工具基于 OpenAI 开源的 tiktoken 库,支持通过 uvx 直接运行,例如 cat file.txt | uvx ttok 即可统计 token 数。 Willison 称,切换默认分词器是他决定发布 1.0 版本的理由。

AI 根据报道生成 · 4 小时前更新

事件进展

2 个进展

  1. 10月9日 08:34 · 1 篇报道
    发布 ttok 1.0,默认分词器切换为 GPT-5/GPT-6
    Simon Willison:Simon Willison 发布 ttok 1.0,默认 tokenizer 从 GPT-4 切换至 GPT-5/GPT-6
  2. 10月9日 07:34 · 1 篇报道
    ttok 0.4 更新发布
    Simon Willison:ttok 0.4 发布:新增 --list-models 命令

报道时间线

沿着报道,了解事件的不同侧面。

10月9日
  1. Simon Willison
    Simon Willison 发布 ttok 1.0,默认 tokenizer 从 GPT-4 切换至 GPT-5/GPT-6

    Simon Willison 发布 ttok 1.0,将默认 tokenizer 从 GPT-4 切换为 GPT-5/GPT-6。

  2. Simon Willison
    ttok 0.4 发布:新增 --list-models 命令

    Simon Willison 的 token 计数 CLI 工具 ttok 发布 0.4 版本,修复了 Click 警告、更新了 CI,并新增 --list-models 命令用于列出可用模型。该工具基于 OpenAI 开源的 tiktoken 库,支持通过 uvx 直接运行,例如 cat file.txt | uvx ttok 即可统计 token 数。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。