# Meta正式推出Code Llama：開創代碼生成新紀元的大型語言模型

- 連結：https://leggie.co/meta%e6%ad%a3%e5%bc%8f%e6%8e%a8%e5%87%bacodellama-%e9%96%8b%e5%89%b5%e4%bb%a3%e7%a2%bc%e7%94%9f%e6%88%90%e6%96%b0%e7%b4%80%e5%85%83%e7%9a%84%e5%a4%a7%e5%9e%8b%e8%aa%9e%e8%a8%80%e6%a8%a1%e5%9e%8b/
- 發佈時間：2023-08-25T10:36:48+08:00
- 作者：Leggie

> Today we’re releasing Code Llama, a large language model built on top of Llama
> 2, fine-tuned for coding & state-of-the-art for publicly available coding tools.
> 
> Keeping with our open approach, Code Llama is publicly-available now for both 
> research & commercial use.More ⬇️
> — Meta AI (@MetaAI) [August 24, 2023](https://twitter.com/MetaAI/status/1694729071325007993?ref_src=twsrc%5Etfw)

Meta於2023年8月24日正式推出了名為Code Llama的大型語言模型（LLM），專門用於生成代碼
和自然語言。

## 概述

Code Llama是一個先進的大型語言模型，能夠從代碼和自然語言提示生成代碼和自然語言。
它是基於Llama 2構建的，並提供三種不同的模型：

 * Code Llama：基礎代碼模型
 * Code Llama – Python：專門針對Python的模型
 * Code Llama – Instruct：專門用於理解自然語言指令的模型

Code Llama在代碼任務方面超越了目前公開可用的先進LLM，並且可以免費用於研究和商業用途。

## 工作原理

Code Llama是Llama 2的代碼專門版本，通過在其代碼特定數據集上進一步訓練Llama 2來創建。
它支持包括Python、C++、Java、PHP、Typescript（Javascript）、C#和Bash在內的許多流行
語言。Code Llama提供了三種不同大小的模型，分別具有7B、13B和34B的參數。這三個模型
滿足不同的服務和延遲要求，例如，7B模型可以在單個GPU上運行，而34B模型則提供更好的
代碼協助效果。

## 性能評估

Code Llama在HumanEval和Mostly Basic Python Programming（MBPP）這兩個流行的編碼基準
測試中的性能超越了開源的代碼特定LLM，並超越了Llama 2。例如，Code Llama 34B在HumanEval
上的得分為53.7％，在MBPP上的得分為56.2％，這是與其他先進開放解決方案相比的最高得分。

## 發布和責任使用

Meta相信開放的方法是開發創新、安全和負責任的新AI工具的最佳方法。Code Llama的訓練
配方和模型權重都可以在[GitHub存儲庫](https://github.com/facebookresearch/llama/blob/main/LICENSE)
上找到。Meta還公開了Code Llama的開發細節，以及如何進行基準測試。他們還更新了[責任使用指南](https://ai.meta.com/research/publications/code-llama-open-foundation-models-for-code/)，
其中包括有關負責任開發下游模型的指導方針。

## 代碼生成的未來

Code Llama旨在支持所有部門的軟體工程師，包括研究、工業、開源項目、非政府組織和企業。
Meta希望Code Llama能夠激勵其他人利用Llama 2創建新的創新工具，用於研究和商業產品。

## 結語

Code Llama的推出標誌著代碼生成和自然語言處理領域的一個重要里程碑。它不僅提供了強大
的代碼生成能力，還通過開放的方法促進了整個社群的創新和安全。隨著這一領域的不斷發展，
Code Llama無疑將在未來的技術景觀中扮演重要角色。
