用戶所使用的語言對于大型語言模型(LLM)的費用有很大的影響,可能造成英語使用者和其它語言使用者之間的人工智能鴻溝。最近的一項研究顯示,由于 OpenAI 等服務所采用的的服務器成本衡量和計費的方式,英語輸入和輸出的費用要比其他語言低得多,其中簡體中文的費用大約是英語的兩倍,西班牙語是英語的 1.5 倍,而緬甸的撣語則是英語的 15 倍。
推特用戶 Dylan Patel(@dlan522p)分享了一張照片,展示了牛津大學進行的一項研究,該研究發(fā)現(xiàn),讓一個 LLM 處理一句緬甸語句子需要 198 個詞元(tokens),而同樣的句子用英語寫只需要 17 個詞元。詞元代表了通過 API(如 OpenAI 的 ChatGPT 或 Anthropic 的 Claude 2)訪問 LLM 所需的計算力成本,這意味著緬甸語句子使用這種服務的成本比英語句子高出 11 倍。
詞元化模型(即人工智能公司將用戶輸入轉換為計算成本的方式)意味著,除了英語之外的其他語言使用和訓練模型要貴得多。這是因為像中文這樣的語言有著不同、更復雜的結構(無論是從語法還是字符數(shù)量上),導致它們需要更高的詞元化率。例如,根據(jù) OpenAI 的 GPT3 分詞器 ,“你的愛意(your affection)”的詞元,在英語中只需要兩個詞元,但在簡體中文中需要八個詞元。盡管簡體中文文本只有 4 個字符(你的愛意),而英文有 14 個字符。