Photo by Nav Rashmi Kalsi on Unsplash
ChatGPT Token限制的由來與核心原理
語言模型的基礎架構
ChatGPT依賴於高度複雜的神經網絡和數十億的參數，這些參數經過大量的訓練數據和計算資源，最終實現了模型的高度智能。
Token的定義與運作機制
Token是ChatGPT進行文本處理的基礎單位。一個句子在進入模型之前會被分割成多個Token，這些Token可能是一個完整的單詞、單詞的一部分或者單個字符。例如，”Hello World!” 這句話在ChatGPT的處理過程中會被分為四個 Token：[“Hello”,” “,”World”,”!”]，這四個Token分別代表了單詞、空格、單詞和標點符號。這是基於 ChatGPT的Token分割算法，它會將輸入的文本分割成這樣的最小單位以進行後續的處理和計算。
Token限制的必要性
Token限制主要是出於計算效率和硬體資源的考慮。由於每個Token都需要進行大量的計算，過多的Token會導致GPU或TPU的內存超出限制，從而影響模型的運行效率。
不同版本的Token限制
OpenAI為了平衡模型的運行效率和用戶體驗，對不同版本的ChatGPT設置了不同的Token限制。例如，ChatGPT 3.5的Token限制是4096，而ChatGPT 4則提高到了8192。
Token限制對ChatGPT應用的影響
輸入文本的限制
由於Token限制，用戶在一次交互中提交的文本不能超過模型的Token上限。這意味著長文本需要被分割成多個部分，逐一提交給模型。
輸出文本的限制
同樣地，Token限制也會影響模型的輸出。當生成的文本超過Token限制時，模型的回應會被截斷，用戶需要通過特定的方式來獲取剩餘的內容。
突破Token限制的多種策略
智能文本分割
使用專門設計來處理長文本的第三方工具，如瀏覽器插件或Python腳本或提供給ChatGPT Plus及企業版用戶的Advanced Data Analysis工具(之前稱為Code Interpreter)，可以自動將長文本分割成多個段落，然後逐一提交給ChatGPT。
使用提示詞與標籤
在提交長文本前，可以給ChatGPT一個提示或標籤，以告知模型後續的內容將會分多次提交。這樣可以幫助模型更好地理解和生成連貫的回應。
瀏覽器插件與自動化工具
使用如“ChatGPT File Uploader ”這類瀏覽器插件，可以一鍵上傳長文本並自動分割，大大簡化了操作流程。
指定文字數和提綱
如果需要模型生成長文本，可以明確指定字數要求和提供寫作提綱，以指導模型逐步完成內容生成。
實際操作案例：從影片字幕到萬字筆記
準備階段：提取影片字幕
假設你手頭有一個1小時50分鐘的的YouTube節目影片(我們這裡以The Dairy of A SEO 上的一個訪談節目「WARNING: ChatGPT Could Be The Start Of The End! Sam Harris 」為例，你希望將其轉化為一篇約1萬字的筆記。
首先，使用專門的YouTube字幕提取瀏覽器外掛工具，如”YouTube Summary with ChatGPT & Claude ”，來從影片中提取字幕。將提取出的字幕保存為一個.txt文本文件。
初始設置：安裝瀏覽器插件
在你的瀏覽器中安裝“ChatGPT File Uploader”這款插件。這個插件可以讓你一鍵上傳長文本文件，並自動將其分割成多個段落。
上傳與分割：提交字幕文本
使用“ChatGPT File Uploader”插件，上傳剛才保存的字幕文本文件。插件會自動將文本分割成多個段落，以適應ChatGPT的Token限制。
使用ChatGPT File Uploader上傳字幕文本
提示與指引：設定ChatGPT生成目標
在ChatGPT的對話框中，輸入以下提示詞（prompt）：
已經上傳了一個1個小時50分鐘的訪談影片的字幕，請使用繁體中文，根據以下提綱生成一篇約1萬字的筆記：
1. 引言：簡單介紹影片的主題和目的。
2. 主要觀點：列出影片中提到的所有重要觀點和概念。
3. 實例與應用：提供影片中給出的實例或實際應用。
4. 結論：總結影片的核心資訊和學習價值。
5. 附錄：列出任何相關的資源或參考文獻。
4.5 生成與審核：獲取筆記內容ChatGPT會根據你提供的提示詞和提綱，逐段生成筆記的各個部分。如果第一次生成時字數不足，你可以用像是以下的prompt強迫ChatGPT滿足你需要的字數：
重新撰寫文章，根據提綱生成一篇"約1萬字"的筆記ChatGPT會以類似的方式做回覆：
由於技術限制，我無法一次生成1萬字的內容。然而，我可以分段提供更詳細的筆記。以下是第一部分....
這只是筆記的第一部分，如果您覺得這樣的格式和深度適合您的需求，我將繼續提供後續的內容。請讓我知道您的想法。
這是筆記的第二部分。如果您覺得這樣的格式和深度仍然適合您的需求，我將繼續提供更多的內容。請讓我知道您的想法。
(略)
這樣的筆記應該涵蓋了影片的主要內容和要點。如果您有其他問題或需要進一步的澄清，請隨時告訴我。謝謝！經過多次交互，你最終會獲得完整的筆記。在每次生成後，請仔細審核內容以確保其質量和連貫性。
最終整合：完成萬字筆記
將ChatGPT生成的所有筆記段落整合到一個文本文件中，進行最後的格式調整和校對。你現在擁有了一篇約1萬字的詳細筆記，完美地將1個小時50分鐘的教學影片轉化為文字形式。
實用技巧與最佳實踐
保證語義連貫性： 無論是輸入還是輸出，都需要確保每一段文本都有明確的邏輯和語義連貫性。多次交互的一致性： 在多次交互中，需要確保每一次的輸入和輸出都與前文保持一致。充分利用語言能力： 善用提示詞和提綱，可以更好地引導ChatGPT生成高質量的內容。
結語
ChatGPT的Token限制並不意味著它不能處理長文本。通過一系列創新的操作技巧和工具，我們可以有效地突破這些限制，實現更多的應用場景。這些限制反而激發了我們尋找更多創新的使用方法，充分發揮了語言模型的潛能。
在未來隨著硬體技術和算法的進一步發展，我們相信這些限制將會逐步減少，語言模型將會有更廣泛和深入的應用。
