Today we’re releasing Code Llama, a large language model built on top of Llama 2, fine-tuned for coding & state-of-the-art for publicly available coding tools.

Keeping with our open approach, Code Llama is publicly-available now for both research & commercial use.

More ⬇️

— Meta AI (@MetaAI) August 24, 2023

Meta於2023年8月24日正式推出了名為Code Llama的大型語言模型（LLM），專門用於生成代碼和自然語言。

概述

Code Llama是一個先進的大型語言模型，能夠從代碼和自然語言提示生成代碼和自然語言。它是基於Llama 2構建的，並提供三種不同的模型：

• Code Llama：基礎代碼模型
• Code Llama – Python：專門針對Python的模型
• Code Llama – Instruct：專門用於理解自然語言指令的模型

Code Llama在代碼任務方面超越了目前公開可用的先進LLM，並且可以免費用於研究和商業用途。

工作原理

Code Llama是Llama 2的代碼專門版本，通過在其代碼特定數據集上進一步訓練Llama 2來創建。它支持包括Python、C++、Java、PHP、Typescript（Javascript）、C#和Bash在內的許多流行語言。Code Llama提供了三種不同大小的模型，分別具有7B、13B和34B的參數。這三個模型滿足不同的服務和延遲要求，例如，7B模型可以在單個GPU上運行，而34B模型則提供更好的代碼協助效果。

性能評估

Code Llama在HumanEval和Mostly Basic Python Programming（MBPP）這兩個流行的編碼基準測試中的性能超越了開源的代碼特定LLM，並超越了Llama 2。例如，Code Llama 34B在HumanEval上的得分為53.7％，在MBPP上的得分為56.2％，這是與其他先進開放解決方案相比的最高得分。

發布和責任使用

Meta相信開放的方法是開發創新、安全和負責任的新AI工具的最佳方法。Code Llama的訓練配方和模型權重都可以在GitHub存儲庫上找到。Meta還公開了Code Llama的開發細節，以及如何進行基準測試。他們還更新了責任使用指南，其中包括有關負責任開發下游模型的指導方針。

代碼生成的未來

Code Llama旨在支持所有部門的軟體工程師，包括研究、工業、開源項目、非政府組織和企業。Meta希望Code Llama能夠激勵其他人利用Llama 2創建新的創新工具，用於研究和商業產品。

結語

Code Llama的推出標誌著代碼生成和自然語言處理領域的一個重要里程碑。它不僅提供了強大的代碼生成能力，還通過開放的方法促進了整個社群的創新和安全。隨著這一領域的不斷發展，Code Llama無疑將在未來的技術景觀中扮演重要角色。