【原】LLMs之Llama-3：Llama-3.3的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

處女座的程序猿 2024-12-12 發(fā)布于上海

展開全文

LLMs之Llama-3：Llama-3.3的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

Llama-3.3的簡介

2024年12月6日，Meta發(fā)布，Llama 3.3是一個70B參數(shù)的多語言大型語言模型(LLM)，經(jīng)過預(yù)訓(xùn)練和指令微調(diào)，支持多種語言的文本輸入和輸出，在常見行業(yè)基準(zhǔn)測試中優(yōu)于許多開源和閉源聊天模型。經(jīng)過精心設(shè)計，在多個基準(zhǔn)測試中表現(xiàn)出色，并具有明確的許可協(xié)議和反饋機制。

Meta Llama 3.3是一個強大的多語言大型語言模型，在多個基準(zhǔn)測試中表現(xiàn)出色。它具有廣泛的應(yīng)用前景，但同時也存在一些倫理和安全方面的挑戰(zhàn)。Meta 采取了多項措施來確保模型的安全性和負責(zé)任的使用，包括采用三管齊下的安全策略、進行全面的紅隊測試、提供多種工具和資源，以及積極參與開源社區(qū)。開發(fā)人員在使用Llama 3.3時，需要遵守許可協(xié)議，注意其使用范圍和局限性，并進行必要的安全測試和微調(diào)，以確保其應(yīng)用的安全性和可靠性。模型的開放性、包容性和有用性是其核心價值觀，但同時也需要持續(xù)關(guān)注和改進，以最大限度地減少潛在風(fēng)險。

總而言之，Llama 3.3 70B 模型是一個高性能、低成本、多語言、注重安全性的生成式 AI 模型，在教育、軟件開發(fā)和企業(yè)應(yīng)用等多個領(lǐng)域具有廣泛的應(yīng)用前景。

HuggingFace；https:///meta-llama/Llama-3.3-70B-Instruct

官網(wǎng)：https://www./docs/overview/

GitHub：llama-models/models/llama3_3/MODEL_CARD.md at main · meta-llama/llama-models · GitHub

1、Meta Llama 3.3 的模型信息

>> 模型架構(gòu)：基于優(yōu)化的Transformer架構(gòu)的自回歸語言模型，微調(diào)版本使用監(jiān)督微調(diào)(SFT)和基于人類反饋的強化學(xué)習(xí)(RLHF)來對齊人類對有用性和安全性的偏好。

>> 訓(xùn)練數(shù)據(jù)：使用了公開可用的在線數(shù)據(jù)混合集，包含超過15萬億個token。截止日期為2023年12月。支持英語、德語、法語、意大利語、葡萄牙語、印地語、西班牙語和泰語。模型使用了分組查詢注意力(GQA)以提高推理的可擴展性。

>> 模型發(fā)布日期：70B指令微調(diào)版本：2024年12月6日。這是一個基于離線數(shù)據(jù)集訓(xùn)練的靜態(tài)模型，未來版本將隨著社區(qū)反饋改進模型安全性而發(fā)布。

>> 許可證：采用自定義商業(yè)許可證——Llama 3.3社區(qū)許可協(xié)議 (https://github.com/meta-llama/llama-models/blob/main/models/llama3_3/LICENSE)。

2、特點

Llama 3.3適用于多種語言的商業(yè)和研究用途。指令微調(diào)的純文本模型適用于類似助手的聊天，而預(yù)訓(xùn)練模型可以適應(yīng)各種自然語言生成任務(wù)。Llama 3.3模型還支持利用其模型的輸出改進其他模型，包括合成數(shù)據(jù)生成和蒸餾。Llama 3.3社區(qū)許可證允許這些用例。

>> 微調(diào)數(shù)據(jù)：采用多方面的方法收集數(shù)據(jù)，結(jié)合來自供應(yīng)商的人工生成數(shù)據(jù)和合成數(shù)據(jù)，以減輕潛在的安全風(fēng)險。

>> 強大的性能，成本更低：Llama 3.3 70B 模型的性能與 Meta Llama 405B 模型相似，但成本更低，使高質(zhì)量的生成式 AI 能夠惠及更廣泛的受眾。

>> 改進的輸出：能夠生成逐步推理和準(zhǔn)確的 JSON 響應(yīng)，以滿足結(jié)構(gòu)化數(shù)據(jù)需求。

>> 擴展的語言支持：支持八種主要語言，包括英語、法語、印地語和泰語等，具有多語言能力。

>> 增強的編碼能力：涵蓋更多編程語言，改進錯誤處理，并提供詳細的代碼反饋。

>> 任務(wù)感知工具使用：更智能的工具調(diào)用，尊重預(yù)定義參數(shù)并避免不必要的調(diào)用。

>> 新功能：本版本引入了新功能，包括更長的上下文窗口、多語言輸入和輸出以及開發(fā)人員與第三方工具的集成。

>> 評估：對Llama模型進行了常見用例和特定功能的評估。常見用例評估衡量了大多數(shù)常用應(yīng)用程序（包括聊天機器人、編碼助手、工具調(diào)用）系統(tǒng)的安全風(fēng)險。

>> 紅隊測試：進行了反復(fù)的紅隊測試，目的是通過對抗性提示發(fā)現(xiàn)風(fēng)險，并利用這些經(jīng)驗來改進基準(zhǔn)測試和安全微調(diào)數(shù)據(jù)集。

>> 注重責(zé)任：Meta 的安全協(xié)議確保模型不僅強大，而且符合道德 AI 標(biāo)準(zhǔn)。內(nèi)置安全防護措施，例如 Llama Guard 3 和 Prompt Guard，可防止濫用。

>> 開源合作：Meta積極參與開放聯(lián)盟，包括AI聯(lián)盟、人工智能合作組織和MLCommons，積極為安全標(biāo)準(zhǔn)化和透明度做出貢獻。

>> 社區(qū)資源：提供了一套資源，包括輸出報告機制和漏洞賞金計劃，以在社區(qū)的幫助下不斷改進Llama技術(shù)。

>> 其他語言支持：Llama 3.3已在比8種支持語言更廣泛的語言集合上進行了預(yù)訓(xùn)練。開發(fā)者可以對Llama 3.3模型進行微調(diào)以支持這8種語言之外的語言，前提是他們遵守Llama 3.3社區(qū)許可證和《可接受使用政策》，在這種情況下，開發(fā)者有責(zé)任確保在其他語言中使用Llama 3.3的方式安全可靠。

3、基準(zhǔn)測試

指令微調(diào)模型：列出了Llama 3.3與之前模型在多個基準(zhǔn)測試上的結(jié)果比較，包括MMLU、Steerability、Reasoning、Code、Math和Multilingual等方面。

4、倫理考量和局限性

>> 核心價值觀：Llama 3.3的核心價值觀是開放性、包容性和有用性。

>> 潛在風(fēng)險：Llama 3.3是一項新技術(shù)，與任何新技術(shù)一樣，其使用也存在風(fēng)險。迄今為止進行的測試并未涵蓋所有場景，模型在某些情況下可能會產(chǎn)生不準(zhǔn)確、有偏差或其他令人反感的回應(yīng)。

>> 開發(fā)人員責(zé)任：在部署任何Llama 3.3模型應(yīng)用程序之前，開發(fā)人員應(yīng)進行針對其特定模型應(yīng)用程序的安全測試和微調(diào)。

Llama-3.3的安裝和使用方法

1、安裝

>> 使用Transformers：提供了使用Transformers庫 (版本>=4.45.0) 進行對話式推理的代碼示例，包括使用pipeline和Auto類以及generate()函數(shù)。

>> 訓(xùn)練因素：使用自定義訓(xùn)練庫、Meta的定制GPU集群和生產(chǎn)基礎(chǔ)設(shè)施進行預(yù)訓(xùn)練。微調(diào)、標(biāo)注和評估也在生產(chǎn)基礎(chǔ)設(shè)施上進行。

>> 訓(xùn)練能耗：在H100-80GB（TDP為700W）類型的硬件上使用了累計3930萬GPU小時的計算量。表格中列出了訓(xùn)練時間、訓(xùn)練功耗、基于位置的溫室氣體排放量和基于市場的溫室氣體排放量。

>> 訓(xùn)練數(shù)據(jù)：預(yù)訓(xùn)練數(shù)據(jù)來自公開來源，約15萬億個token。微調(diào)數(shù)據(jù)包括公開可用的指令數(shù)據(jù)集以及超過2500萬個合成生成的示例。預(yù)訓(xùn)練數(shù)據(jù)的截止日期為2023年12月。

2、使用方法

提供了使用Llama 3.3模型的不同方法，包括使用流行的深度學(xué)習(xí)庫Transformers和bitsandbytes進行高效的推理和內(nèi)存優(yōu)化，以及使用原始llama代碼庫的方法。

使用llama

建議遵循代碼庫中的說明。提供了使用huggingface-cli下載原始檢查點的命令示例。

import transformers
import torch

model_id = "meta-llama/Llama-3.3-70B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

工具使用 (Tool use with transformers)

支持多種工具使用格式，并提供了使用Transformers的聊天模板進行工具調(diào)用的示例，包括定義工具、創(chuàng)建聊天和應(yīng)用聊天模板，以及處理模型生成的工具調(diào)用和結(jié)果。

# First, define a tool
def get_current_temperature(location: str) -> float:
    """
    Get the current temperature at a location.
    
    Args:
        location: The location to get the temperature for, in the format "City, Country"
    Returns:
        The current temperature at the specified location in the specified units, as a float.
    """
    return 22.  # A real function should probably actually get the temperature!

# Next, create a chat and apply the chat template
messages = [
  {"role": "system", "content": "You are a bot that responds to weather queries."},
  {"role": "user", "content": "Hey, what's the temperature in Paris right now?"}
]

inputs = tokenizer.apply_chat_template(messages, tools=[get_current_temperature], add_generation_prompt=True)

你可以像平常一樣從這個輸入生成文本。如果模型生成了一個工具調(diào)用，你應(yīng)該像這樣將其添加到聊天中：

tool_call = {"name": "get_current_temperature", "arguments": {"location": "Paris, France"}}
messages.append({"role": "assistant", "tool_calls": [{"type": "function", "function": tool_call}]})

然后調(diào)用該工具，并將結(jié)果附加到其中，就像這樣：

messages.append({"role": "tool", "name": "get_current_temperature", "content": "22.0"})

在此之后，您可以再次生成()，讓模型在聊天中使用工具的結(jié)果。請注意，這只是對工具調(diào)用非常簡要的介紹——如需了解更多信息，請參閱LLaMA提示格式文檔和Transformers工具使用文檔。

使用bitsandbytes

可以使用bitsandbytes和Transformers庫對模型進行8位和4位量化，以優(yōu)化內(nèi)存使用。提供了相應(yīng)的代碼示例。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "meta-llama/Llama-3.3-70B-Instruct"
quantization_config = BitsAndBytesConfig(load_in_8bit=True)

quantized_model = AutoModelForCausalLM.from_pretrained(
    model_id, device_map="auto", torch_dtype=torch.bfloat16, quantization_config=quantization_config)

tokenizer = AutoTokenizer.from_pretrained(model_id)
input_text = "What are we having for dinner?"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

output = quantized_model.generate(**input_ids, max_new_tokens=10)

print(tokenizer.decode(output[0], skip_special_tokens=True))

3、責(zé)任與安全

>> 負責(zé)任的發(fā)布方法：采用了三管齊下的策略來管理信任和安全風(fēng)險：使開發(fā)人員能夠為其目標(biāo)受眾和Llama支持的用例部署有用、安全和靈活的體驗；保護開發(fā)人員免受試圖利用Llama功能造成潛在危害的惡意用戶的攻擊；為社區(qū)提供保護，以幫助防止濫用我們的模型。

>> 負責(zé)任的部署：Llama是一個基礎(chǔ)技術(shù)，設(shè)計用于各種用例。Meta的Llama模型的負責(zé)任部署示例可以在其社區(qū)故事網(wǎng)頁上找到。

>> Llama 3.3指令微調(diào)：安全微調(diào)的主要目標(biāo)是為研究界提供一個寶貴的資源，用于研究安全微調(diào)的穩(wěn)健性，并為開發(fā)人員提供一個隨時可用、安全且強大的模型，用于各種應(yīng)用程序，以減少開發(fā)人員部署安全AI系統(tǒng)的工作量。

Llama 3.3的案例應(yīng)用

持續(xù)更新中……

>> 教育領(lǐng)域：為學(xué)生和教育工作者提供多語言 AI 助手。

>> 軟件開發(fā)領(lǐng)域：通過準(zhǔn)確的代碼輔助來提高生產(chǎn)力。

>> 企業(yè)應(yīng)用：簡化客戶支持、數(shù)據(jù)分析和內(nèi)容生成。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻花（0） +1

來自：處女座的程序猿 > 《待分類》

舉報/認(rèn)領(lǐng)

0條評論

發(fā)表

請遵守用戶評論公約

類似文章

處女座的程序猿

關(guān)注對話

TA的最新館藏

LLMs之FT：《The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review o
LLMs之FinDKG：《FinDKG: Dynamic Knowledge Graphs with Large Language Models for Detecting Global Trends
成功解決move import (move_argmax, move_argmin, move_max, move_mean, move_median,AttributeError: _ARRAY_A
LLMs之Llama-3：Llama-3.3的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略
LLMs之APE：基于Claude的Prompt Improver的簡介、使用方法、案例應(yīng)用之詳細攻略
LLMs之PEFT：《Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey》翻譯與解讀

喜歡該文的人也喜歡更多

熱門閱讀換一換

午夜视频在线网站,日韩视频精品在线,中文字幕精品一区二区三区在线,在线播放精品,1024你懂我懂的旧版人,欧美日韩一级黄色片,一区二区三区在线观看视频

【原】LLMs之Llama-3：Llama-3.3的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

相關(guān)文章

LLMs之LLaMA：LLaMA的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

LLMs之LLaMA-2：LLaMA 2的簡介(技術(shù)細節(jié))、安裝、使用方法(開源-免費用于研究和商業(yè)用途)之詳細攻略

LLMs之Llama-3：Llama 3的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

LLMs之llama3-from-scratch：llama3-from-scratch(從頭開始利用pytorch來實現(xiàn)并解讀LLaMA-3模型的每層代碼)的簡介、核心思路梳理

LLMs之Llama-3.1：Llama 3.1的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

MLM之Llama-3：Llama 3.2的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

LLMs之Llama-3：Llama-3.3的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

Llama-3.3的簡介

1、Meta Llama 3.3 的模型信息

2、特點

3、基準(zhǔn)測試

4、倫理考量和局限性

Llama-3.3的安裝和使用方法

1、安裝

2、使用方法

使用llama

工具使用 (Tool use with transformers)

使用bitsandbytes

3、責(zé)任與安全

Llama 3.3的案例應(yīng)用

午夜视频在线网站,日韩视频精品在线,中文字幕精品一区二区三区在线,在线播放精品,1024你懂我懂的旧版人,欧美日韩一级黄色片,一区二区三区在线观看视频

【原】LLMs之Llama-3：Llama-3.3的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

相關(guān)文章

LLMs之LLaMA：LLaMA的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

LLMs之LLaMA-2：LLaMA 2的簡介(技術(shù)細節(jié))、安裝、使用方法(開源-免費用于研究和商業(yè)用途)之詳細攻略

LLMs之Llama-3：Llama 3的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

LLMs之llama3-from-scratch：llama3-from-scratch(從頭開始利用pytorch來實現(xiàn)并解讀LLaMA-3模型的每層代碼)的簡介、核心思路梳理

LLMs之Llama-3.1：Llama 3.1的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

MLM之Llama-3：Llama 3.2的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

LLMs之Llama-3：Llama-3.3的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

Llama-3.3的簡介

1、Meta Llama 3.3 的模型信息

2、特點

3、基準(zhǔn)測試

4、倫理考量和局限性

Llama-3.3的安裝和使用方法

1、安裝

2、使用方法

使用llama

工具使用 (Tool use with transformers)

使用bitsandbytes

3、責(zé)任與安全

Llama 3.3的案例應(yīng)用

【原】LLMs之Llama-3：Llama-3.3的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

LLMs之LLaMA：LLaMA的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

LLMs之LLaMA-2：LLaMA 2的簡介(技術(shù)細節(jié))、安裝、使用方法(開源-免費用于研究和商業(yè)用途)之詳細攻略

LLMs之Llama-3：Llama 3的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

LLMs之llama3-from-scratch：llama3-from-scratch(從頭開始利用pytorch來實現(xiàn)并解讀LLaMA-3模型的每層代碼)的簡介、核心思路梳理

LLMs之Llama-3.1：Llama 3.1的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

MLM之Llama-3：Llama 3.2的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

LLMs之Llama-3：Llama-3.3的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

1、Meta Llama 3.3 的模型信息

2、特點

3、基準(zhǔn)測試

1、安裝

2、使用方法