跳到正文
原文
Simon Willison·· 7 小时前AI 评分55

ttok 1.0 发布,默认 tokenizer 改为 GPT-5/GPT-6 系列

ttok 1.0

AI 导读

Simon Willison 发布 ttok 1.0。他发现升级时 ttok 默认使用了 GPT-4 tokenizer,因此把默认值改为 GPT-5/GPT-6 系列。文中引用实验提交指出 GPT-5 和 GPT-6 多个版本在测试集上 token 数一致,未引入输入计数变化。

来源:Simon Willison · simonwillison.net