跳到正文
热点事件持续更新

ttok 1.0 发布,默认分词器切换为 GPT-5/GPT-6

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

2026 年 10 月 9 日,Simon Willison 发布 ttok 1.0。此前他在升级时发现 ttok 的默认值使用了 GPT-4 tokenizer,因此将该工具的默认分词器改为 GPT-5/GPT-6 系列。同时,文中引用了实验提交内容,指出 GPT-5 和 GPT-6 的多个版本在测试集上 token 数一致,并未引入输入计数的变化。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月9日
  1. Simon Willison
    ttok 1.0 发布,默认 tokenizer 改为 GPT-5/GPT-6 系列

    Simon Willison 发布 ttok 1.0。他发现升级时 ttok 默认使用了 GPT-4 tokenizer,因此把默认值改为 GPT-5/GPT-6 系列。文中引用实验提交指出 GPT-5 和 GPT-6 多个版本在测试集上 token 数一致,未引入输入计数变化。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。