Skip to content

llama 大模型私有部署

大纲

  • llama 文本模型介绍
  • llama 部署
  • dify 集成 llama
  • 编程调用方式

Llama3.2

Meta Llama 3.2 多语言大型语言模型 (LlM) 集合是一组经过预训练和指令调整的生成模型，大小为 1B 和 3B（文本输入/文本输出）。Llama 3.2 指令调整的纯文本模型针对多语言对话用例进行了优化，包括代理检索和摘要任务。它们在常见的行业基准上优于许多可用的开源和封闭聊天模型。

llama3.1

8B 和 70B 模型的升级版是多语言的，上下文长度明显更长，达到 128K，具有最先进的工具使用和整体更强大的推理能力。这使得 Meta 的最新模型能够支持高级用例，例如长篇文本摘要、多语言对话代理和编码助手。

CodeLlama

CodeLlama 是一种大型语言模型 (LLM)，可以使用文本提示来生成和讨论代码。Code Llama 是用于编码任务的公开 LLM 中最先进的。它有可能让开发人员的工作流程更快、更高效，并降低学习编码的人员的入门门槛。Code Llama 有可能被用作一种生产力和教育工具，帮助程序员编写更强大、文档更齐全的软件。

code llama

利用 Ollama 等工具部署

$ ollama pull llama3.1
$ ollama pull llama3.2
$ ollama ls

codellama:latest    8fdf8f752f6e    3.8 GB    3 weeks ago
llama3.2:latest a80c4f17acd5    2.0 GB    3 weeks ago
llama3.1:latest a340353013fd    4.7 GB    3 months ago
x/llama3.2-vision:latest    06bfba5b92a1    7.9 GB    3 days ago

Dify 集成 llama

  • LLM
  • Text Embedding
  • 模型名称
  • URL 地址
  • 上下文长度 128K
  • 是否支持视觉

llama3.1

llama3.2

llama3.2 llama3.1 Dify 中使用

Langchain 调用案例

from langchain_ollama import ChatOllama


def test_llama3_1():
    llm = ChatOllama(model='llama3.1', temperature=0)
    query = '天空为什么是蓝色的'
    result = llm.invoke([('user', query)])
    print(result)

def test_llama3_2():
    llm = ChatOllama(model='llama3.2', temperature=0)
    query = '天空为什么是蓝色的'
    result = llm.invoke([('user', query)])
    print(result)