# DALL-E 3：多模態AI的新階段與挑戰

- 連結：https://leggie.co/dall-e-3-%e5%a4%9a%e6%a8%a1%e6%85%8bai%e7%9a%84%e6%96%b0%e9%9a%8e%e6%ae%b5%e8%88%87%e6%8c%91%e6%88%b0/
- 發佈時間：2023-10-22T17:37:46+08:00
- 作者：Leggie

![DALL-E 3從藝術創作到遊戲開發再到更多領域的可能性](data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw
==)

在人工智能（AI）的多模態領域， DALL-E 3 無疑是一個劃時代的創新。這款由 OpenAI 研發
的模型不僅在規模和複雜性上超越了其前身，更在文本到圖像生成的能力上達到了新的高度。
它的出現不僅為 AI 研究者和開發者提供了一個強大的工具，也為藝術家、遊戲開發者和商業
領袖開闢了新的可能性。然而，正如所有突破性技術一樣， DALL-E 3 也帶來了一系列待解
的問題和挑戰。

本文的核心問題集中在 DALL-E 3 如何在遵循 prompt 方面取得突破，以及它在這一過程中
面臨的挑戰。傳統的文本到圖像生成模型經常需要用戶進行繁瑣的 prompt 工程，以獲得所需
的輸出。 DALL-E 3 是否能夠改變這一現狀？它在人類評估和自動評估中的表現又如何？除了
這些技術性問題， DALL-E 3 在用戶體驗和道德考慮方面又有哪些值得關注的地方？這些問題
不僅關乎技術的成熟度，也影響著 DALL-E 3 在實際應用和商業化過程中的可行性和可靠性。

## DALL-E 3 的技術突破

DALL-E 3 在多模態 AI 領域的出現無疑是一個重大突破，尤其是在文本到圖像生成方面。與其
前身相比，這款模型具有更大的規模和更高的複雜性，這使其能夠生成更為細緻和精確的圖像。
然而，更為引人注目的是其在遵循 prompt 方面的表現。

傳統的文本到圖像生成模型經常會忽略或錯誤解釋 prompt 中的某些詞語或描述，迫使用戶
進行繁瑣的 prompt 工程以獲得所需的輸出。 DALL-E 3 在這方面取得了顯著的進步，這一
突破的背後是其使用的高度描述性生成字幕。

這些高度描述性的生成字幕不僅能夠更準確地捕捉到 prompt 中的細微差異和含義，而且還能夠
對這些差異進行細緻的解釋和轉換。例如，如果 prompt 要求生成一個“帶有藍色背景的紅色
蘋果”， DALL-E 3 會生成一個字幕，詳細描述如何將這些顏色和物體組合在一起，然後根據
這個字幕來生成圖像。這種方法不僅提高了模型在遵循 prompt 方面的能力，也大大減少了
用戶需要進行的 prompt 工程。

![帶有藍色背景的紅色蘋果](data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw
==)

高度描述性生成字幕。原始 prompt 為”帶有藍色背景的紅色蘋果”， DALL-E 3 會修改為_ “
prompt: Photo of a vibrant red apple on a deep blue background, with the apple’s
surface reflecting a soft glow.” _

## 人類與自動評估

DALL-E 3 不僅在技術界引起了廣泛的關注，也在學術界引發了熱烈的討論。為了更全面地評估
其性能，研究者們採用了一系列人類評估和自動評估方法。在人類評估方面，根據 OpenAI 
公開的研究論文[《 Improving Image Generation with Better Captions 》](https://cdn.openai.com/papers/dall-e-3.pdf)，
DALL-E 3 在 prompt following 方面的 ELO 分數遠超過其他模型，被人類評估者更多次選
為更符合 prompt 的圖像生成模型。

![Human evaluation results for DALL-E 3 versus other text-to-image generation models.](
data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==)

圖片來源：Improving Image Generation with Better Captions

在自動評估方面， DALL-E 3 在多個與 prompt following 相關的評估指標上也表現出色。
例如，在 MSCOCO Captions CLIP Score 上， DALL-E 3 達到了 32.0 的分數，遠超過 DALL-
E 2 的 31.4 和 Stable Diffusion XL 的 30.5。

![– Comparison of text-to-image models on various evaluations related to prompt 
following](data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw
==)

圖片來源：Improving Image Generation with Better Captions

這些數據不僅證明了 DALL-E 3 在遵循 prompt 方面的卓越性能，也突顯了其在這一領域的
突破性成就。

## 用戶體驗與 ChatGPT 的整合

DALL-E 3 的出現不僅在技術性能上取得了突破，其與 ChatGPT 的整合更是開創了一個全新
的用戶體驗範疇。這一整合實現了文本和圖像生成的無縫融合，為用戶提供了一個更加豐富
和多元的互動平台。

透過先進的多模態架構和算法， DALL-E 3 能夠直接與 ChatGPT 的文本生成引擎進行交互，
實現更為精確和高效的 prompt 遵循。這不僅提高了模型的生成質量，也大大簡化了用戶的
操作過程。

由於 DALL-E 3 和 ChatGPT 都具有高度的自適應性和靈活性，這一整合使得用戶能夠在單一
的界面中完成更多的任務。更重要的是，這一整合在提高 prompt 精確性方面具有顯著的優勢。
具體來說，當用戶輸入一個 prompt ， DALL-E 3 和 ChatGPT 會聯合分析這個 prompt 的語
境和含義，並生成一個更為精確的內部表示。這個內部表示會被用來指導圖像和文本的生成，
從而確保最終輸出更加符合用戶的需求和期望。

## 安全性與道德考慮

DALL-E 3 的強大生成能力無疑帶來了一系列安全性和道德問題，這在 AI 領域中是一個普遍
而又重要的議題。為了解決這些問題，開發者們已經採取了多層次、多維度的措施來限制模型
生成有害或不道德的內容。

首先， DALL-E 3 採用了先進的內容過濾和審核機制。這些機制不僅基於自然語言處理（NLP）
技術，還結合了圖像識別和語義分析等多種 AI 技術。具體來說，當模型接收到一個 prompt
後，它會先進行初步的語義和語境分析，以判斷這個 prompt 是否可能導致生成有害或不道德
的內容。如果是，模型會拒絕執行這個 prompt 或對其進行適當的修改。

其次，這些安全性措施也包括了一個人工審核過程。即使模型的自動過濾機制非常先進，仍然
有可能出現漏網之魚。因此，開發者們也設計了一個人工審核流程，以進一步確保模型生成
的內容是安全和道德的。

這些措施不僅提高了 DALL-E 3 在敏感領域的應用可能性，也會贏得了更高的社會和商業信任
度。

## 挑戰與侷限性

儘管 DALL-E 3 在多個方面表現出色，但在物體放置和空間意識方面仍存在一定的侷限性。
這些侷限性不僅影響了模型生成圖像的自然性和真實感，也對其在實際應用中的可靠性造成
了影響。

首先， DALL-E 3 在物體放置方面的不足主要體現在其生成的圖像中。例如，模型有時會將
物體放置在不合邏輯或不自然的位置，這不僅影響了圖像的美觀性，也可能導致用戶對模型
生成結果的不滿。

其次，這些侷限性在空間意識方面更為明顯。 DALL-E 3 有時難以正確理解和處理與空間相關
的 prompt ，如“將一個蘋果放在桌子後面”等，這直接影響了其在模擬現實世界場景或進行
高度專業任務（如建築設計或醫療影像分析）時的可靠性。

![將一個蘋果放在桌子後面](data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw
==)

DALL-E 3 目前仍難以理解和處理空間相關的 prompt 。原始 prompt 為”將一個蘋果放在桌子
後面”， DALL-E 3 修改後的_ “prompt: Watercolor painting of a group of various colored
apples arranged behind a rustic wooden table.”_

這些侷限性不僅需要開發者們進一步優化和改進模型，在實際應用DALL-E 3時更需要謹慎和
審慎。

## 商業價值與實際應用

DALL-E 3 的應用潛力遠遠超過了單一的科技領域，其在藝術創作和遊戲開發等多個領域都有
著令人矚目的表現。這不僅豐富了其應用場景，也為其賦予了巨大的商業價值。

在藝術創作方面， DALL-E 3 具有生成高度創意和富有表現力的藝術作品的能力。例如，藝術家
可以使用 DALL-E 3 來生成具有特定主題或風格的畫作，甚至可以根據藝術家的 prompt 生成
動畫或三維模型。這種高度定制化的生成能力不僅為藝術家提供了更多的創作自由度，也為
藝術品市場帶來了新的商業模式和價值。

在遊戲開發領域， DALL-E 3 也展示出了極高的應用價值。遊戲開發者可以利用 DALL-E 3 
快速生成遊戲內的各種資源，如角色設計、場景構建以及物品生成等。更重要的是，這些生成
的資源可以根據遊戲開發者的具體需求進行細致的調整和優化，大大提高了遊戲開發的效率
和質量。

這些實際應用不僅證明了 DALL-E 3 的多功能性和靈活性，也預示著其在未來將帶來的巨大
商業價值。

## 結語

DALL-E 3 在遵循 prompt 方面的表現無疑是一個重要的突破。透過先進的自然語言處理技術
和多層次的生成策略，它不僅能夠更精確地理解和執行用戶的 prompt ，也在生成質量和多樣性
方面達到了新的高度。然而，這並不意味著它是無懈可擊的。在物體放置和空間意識方面，
DALL-E 3 仍然面臨一定的挑戰，這些挑戰在未來的研究和應用中需要得到更多的關注和解決。

對於未來， DALL-E 3 的應用前景極為廣闊。從藝術創作到遊戲開發，再到更多尚未探索的
領域，它都有可能成為一個改變遊戲規則的因素。隨著模型的不斷優化和應用場景的不斷擴大，
DALL-E 3 將在未來繼續引領 AI 領域的發展，並為人們帶來更多令人驚艷的創新和價值。
