Simon Willison·· 7 小时前AI 评分55
ttok 1.0 发布,默认 tokenizer 改为 GPT-5/GPT-6 系列
ttok 1.0
AI 导读
Simon Willison 发布 ttok 1.0。他发现升级时 ttok 默认使用了 GPT-4 tokenizer,因此把默认值改为 GPT-5/GPT-6 系列。文中引用实验提交指出 GPT-5 和 GPT-6 多个版本在测试集上 token 数一致,未引入输入计数变化。
来源:Simon Willison · simonwillison.net