热点事件持续更新
ttok 1.0 发布,默认分词器切换为 GPT-5/GPT-6
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
2026 年 10 月 9 日,Simon Willison 发布 ttok 1.0。此前他在升级时发现 ttok 的默认值使用了 GPT-4 tokenizer,因此将该工具的默认分词器改为 GPT-5/GPT-6 系列。同时,文中引用了实验提交内容,指出 GPT-5 和 GPT-6 的多个版本在测试集上 token 数一致,并未引入输入计数的变化。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
10月9日
- Simon Willisonttok 1.0 发布,默认 tokenizer 改为 GPT-5/GPT-6 系列
Simon Willison 发布 ttok 1.0。他发现升级时 ttok 默认使用了 GPT-4 tokenizer,因此把默认值改为 GPT-5/GPT-6 系列。文中引用实验提交指出 GPT-5 和 GPT-6 多个版本在测试集上 token 数一致,未引入输入计数变化。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。