在的T-编码中字符通常为到个字节而世界上大多数语言字符占用到个字节。因此非英语语言的标记长度往往平均每个单词有到个t与英语相比提示效率较低。 考虑到T--t的扩展上下文长度最多支持,个t语言效率的差异会变得更加明显。 个t大概是多少个单词？下面是一个平均值 英语约 , 个单词 简体中文约,个字符 韩语约 , 个字符 英语在提示词效率方面是中文的.倍韩语的.倍综上所述英语是htT最高效的提示语言其提示效率是J中日韩语言的约倍。 两个其他语言的例子克林贡语和爪哇语J大语言模型对一个语种的支持取决于该语种是否被包含在标准字符编码系统中。
如果缺少了某种语言那大语言模型 澳大利亚电话号码表 也不会支持这种语言。 以下是不支持的语言示例唐萨语——印度和缅甸唐萨族使用的语言。托托语——印度西孟加拉邦托托部落所使用语言伊努语 – 日本阿伊努人使用对片假名区中的一些字符的支持—一种用于书写苗语的文字创建于世纪中叶hm——印度和孟加拉国的hm人使用。利比里亚和几内亚的人使用瓦伊语——利比里亚瓦伊语使用的音节文萨瓦语——一种用于书写利比里亚巴萨语的文字。克林贡语克林贡语是《星际迷航》宇宙中的一种人造语言但中却没有这种语言。因此由于缺乏支持htT等大语言模型无法读取或处理克林贡语脚本。
如果人类在htT基础上实现了通用人工智能那在马斯克发往火星的飞船上听到了克林贡语是理解不了的。 克林贡文字不属于因此不受大语言模型支持爪哇语J印度尼西亚爪哇岛有万人口使用爪哇语它与编程语言J有着独特的历史联系。尽管J在推动在编程语言中的采用方面发挥着关键作用但爪哇语言本身直到年才得到的正式支持 .版。这种延迟的纳入凸显了非西方语言在获得 等全球标准认可方面所面临的挑战。截至.版该版本涵盖了种文字和近万个字符而全球共有,余种语言。展望未来确保和相关标准中包含多种语言对于促进语言多样性和在大语言模型 等新兴技术中提供全面的语言支持至关重要。