圖片來源：unsplash
OpenAI公告為其AI聊天機器人ChatGPT推出了全新的語音和圖像功能，這一更新不僅在技術層面帶來了一系列突破，也在使用者體驗方面有了顯著提升。我們將深入探討這些新功能的技術細節和使用者面向的影響。
語音互動的使用者體驗與技術實現
ChatGPT的新語音功能允許使用者僅通過語音與其進行動態對話。使用者可以在移動應用程式的“設置”中啟用語音對話功能，並選擇五種不同的語音。技術上，這一功能涉及到自然語言處理（NLP）和語音識別（ASR）技術的綜合應用，並利用多層遞歸神經網路（RNN）和長短時記憶網路（LSTM）來實現高精度的語音到文字轉換。
圖像互動的使用者體驗與技術實現
ChatGPT can now see, hear, and speak. Rolling out over next two weeks, Plus users will be able to have voice conversations with ChatGPT (iOS & Android) and to include images in conversations (all platforms). https://t.co/uNZjgbR5Bm pic.twitter.com/paG0hMshXb
— OpenAI (@OpenAI) September 25, 2023
OpenAI在官方Twitter中展示最新的圖像互動功能
ChatGPT的新圖像功能允許使用者通過上傳一張或多張圖像來進行查詢。使用者還可以使用移動應用程序中的繪圖工具來聚焦圖像的特定部分。從技術角度來看，這一功能基於卷積神經網路（CNN）和生成對抗網路（GAN）的深度學習模型，這些模型能夠對圖像進行高效的特徵提取和分類。
Spotify中的語音翻譯應用
在Spotify的”AI Voice Translation Pilot“項目中，ChatGPT的語音功能被用於實現即時的跨語言翻譯。這一應用不僅涉及到語音識別和自然語言處理，還包括了機器翻譯（MT）技術。這一整合性的解決方案展示了ChatGPT在多模態數據處理方面的強大能力。更重要的是，這種即時翻譯功能為跨語言和跨文化的溝通提供了一個全新的平台，特別是在全球化和多元文化的背景下，這一功能的商業價值和社會影響不容小覷。
語音與圖像功能的潛在風險
新功能的推出也帶來了一些潛在的風險，包括冒充和詐騙等。這些風險可能對廣告商等有著重大的影響。因此，OpenAI也對這些風險進行了明確的說明，並表示將會採取相應的措施來降低這些風險。
新功能的定位與未來
OpenAI表示這些新功能將為ChatGPT的使用者提供更多的使用場景。例如，旅行時拍攝地標並進行即時對話，或者在家中拍攝冰箱和食品儲藏室的照片來決定晚餐菜單。這些新功能將在接下來的兩周內首先推出到付費用戶，並計劃在“不久後”擴展到免費版本的應用。
結語
ChatGPT的新語音和圖像功能不僅在技術層面上展示了多模態數據處理的巨大潛力，也在使用者體驗方面有了顯著提升。從語音識別到圖像解析，再到多語言翻譯，這些功能不僅提升了AI與用戶的互動體驗，也為未來AI技術的發展鋪平了道路。