# ChatGPT新功能解析：語音與圖像互動的使用者體驗與技術細節

- 連結：https://leggie.co/chatgpt%e6%96%b0%e5%8a%9f%e8%83%bd%e8%a7%a3%e6%9e%90-%e8%aa%9e%e9%9f%b3%e8%88%87%e5%9c%96%e5%83%8f%e4%ba%92%e5%8b%95%e7%9a%84%e4%bd%bf%e7%94%a8%e8%80%85%e9%ab%94%e9%a9%97%e8%88%87%e6%8a%80%e8%a1%93/
- 發佈時間：2023-09-26T13:08:28+08:00
- 作者：Leggie

![ChatGPT](data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw
==)

圖片來源：unsplash

OpenAI[公告](https://openai.com/blog/chatgpt-can-now-see-hear-and-speak)為其AI聊天
機器人ChatGPT推出了全新的語音和圖像功能，這一更新不僅在技術層面帶來了一系列突破，
也在使用者體驗方面有了顯著提升。我們將深入探討這些新功能的技術細節和使用者面向的
影響。

## 語音互動的使用者體驗與技術實現

ChatGPT的新語音功能允許使用者僅通過語音與其進行動態對話。使用者可以在移動應用程式
的“設置”中啟用語音對話功能，並選擇五種不同的語音。技術上，這一功能涉及到自然語言
處理（NLP）和語音識別（ASR）技術的綜合應用，並利用多層遞歸神經網路（RNN）和長短時
記憶網路（LSTM）來實現高精度的語音到文字轉換。

## 圖像互動的使用者體驗與技術實現

> ChatGPT can now see, hear, and speak. Rolling out over next two weeks, Plus users
> will be able to have voice conversations with ChatGPT (iOS & Android) and to include
> images in conversations (all platforms). [https://t.co/uNZjgbR5Bm](https://t.co/uNZjgbR5Bm)
> [pic.twitter.com/paG0hMshXb](https://t.co/paG0hMshXb)
> — OpenAI (@OpenAI) [September 25, 2023](https://twitter.com/OpenAI/status/1706280618429141022?ref_src=twsrc%5Etfw)

OpenAI在官方Twitter中展示最新的圖像互動功能

ChatGPT的新圖像功能允許使用者通過上傳一張或多張圖像來進行查詢。使用者還可以使用移動
應用程序中的繪圖工具來聚焦圖像的特定部分。從技術角度來看，這一功能基於卷積神經網路（
CNN）和生成對抗網路（GAN）的深度學習模型，這些模型能夠對圖像進行高效的特徵提取和
分類。

## Spotify中的語音翻譯應用

⌊YouTube thumbnail⌉⌊YouTube thumbnail⌉⌊YouTube icon⌉⌊YouTube icon⌉

Spotify AI Voice Translation

在Spotify的”[AI Voice Translation Pilot](https://newsroom.spotify.com/2023-09-25/ai-voice-translation-pilot-lex-fridman-dax-shepard-steven-bartlett/)“
項目中，ChatGPT的語音功能被用於實現即時的跨語言翻譯。這一應用不僅涉及到語音識別和
自然語言處理，還包括了機器翻譯（MT）技術。這一整合性的解決方案展示了ChatGPT在多模
態數據處理方面的強大能力。更重要的是，這種即時翻譯功能為跨語言和跨文化的溝通提供
了一個全新的平台，特別是在全球化和多元文化的背景下，這一功能的商業價值和社會影響
不容小覷。

## 語音與圖像功能的潛在風險

新功能的推出也帶來了一些潛在的風險，包括冒充和詐騙等。這些風險可能對廣告商等有著
重大的影響。因此，OpenAI也對這些風險進行了明確的說明，並表示將會採取相應的措施來
降低這些風險。

## 新功能的定位與未來

OpenAI表示這些新功能將為ChatGPT的使用者提供更多的使用場景。例如，旅行時拍攝地標並
進行即時對話，或者在家中拍攝冰箱和食品儲藏室的照片來決定晚餐菜單。這些新功能將在
接下來的兩周內首先推出到付費用戶，並計劃在“不久後”擴展到免費版本的應用。

## 結語

ChatGPT的新語音和圖像功能不僅在技術層面上展示了多模態數據處理的巨大潛力，也在使用者
體驗方面有了顯著提升。從語音識別到圖像解析，再到多語言翻譯，這些功能不僅提升了AI
與用戶的互動體驗，也為未來AI技術的發展鋪平了道路。
