Llm on Sawyer Zheng's Blog

Langraph

Mon, 22 Sep 2025 00:00:00 +0000

参考

langgraph 的关键概念

states 状态

功能：一个 dict, 用来存储状态信息，历史聊天记录（messages）

特点：

不可变性

Agent

Tue, 02 Sep 2025 00:00:00 +0000

工具收集

promptfoo.dev: Secure & reliable LLMs | Promptfoo
- Prompt 安全工具

prompt 收集

claude code 逆向工程博客

参考：

Build a Coding Agent from Scratch: The Complete Python Tutorial - Sid Bharath

system_prompt

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


SYSTEM_PROMPT = """You are a helpful coding agent that assists with programming tasks and file operations.

When responding to requests:
1. Analyze what the user needs
2. Use the minimum number of tools necessary to accomplish the task
3. After using tools, provide a concise summary of what was done

IMPORTANT: Once you've completed the requested task, STOP and provide your final response. Do not continue creating additional files or performing extra actions unless specifically asked.

Examples of good behavior:
- User: "Create a file that adds numbers" → Create ONE file, then summarize
- User: "Create files for add and subtract" → Create ONLY those two files, then summarize
- User: "Create math operation files" → Ask for clarification on which operations, or create a reasonable set and stop

After receiving tool results:
- If the task is complete, provide a final summary
- Only continue with more tools if the original request is not yet fulfilled
- Do not interpret successful tool execution as a request to do more

Be concise and efficient. Complete the requested task and stop."""

构建 Agent 的要点

历史对话管理

历史数据的持久化

保存历史
加载历史

最大对话历史长度

因为对话历史长度的限制，需要限定 max_history_count,

GraphRAG

Mon, 04 Aug 2025 00:00:00 +0000

教程

https://zhuanlan.zhihu.com/p/716999421

GraphRag 环节

创建 graph
- 提取 node
- 提取关系
- 关系（边）的存储同时存储关联的文本 chunk id
  - 作用：用来通过 node 查询时，获取 text 作文回答的上下文
查询
1. query
2. 意图分析 –> 图查询语句
3. 上下文
4. ==> llm 生成

MCP 协议 + 大模型 tools 调用

Thu, 12 Jun 2025 00:00:00 +0000

mcp server list

Smithery - Model Context Protocol Registry
- 一个集合了各种 mcp-server 的网站
MCP Market

client

参考：

GitHub - modelcontextprotocol/python-sdk: The official Python SDK for Model C…
quickstart-resources/mcp-client-python/client.py at main · modelcontextprotoc…
- 一个完整的 client 例子
中文博客

vllm

Fri, 09 May 2025 00:00:00 +0000

部署 embedding 模型

部署 bge-m3 模型

1

CUDA_VISIBLE_DEVICES=1 vllm serve /data/llm-model/bge/bge-m3/ --host 0.0.0.0 --port 15080 --served-model-name chat-embed

curl 调用：

1
2
3
4
5
6
7


curl http://172.16.10.88:15080/v1/embeddings \
 -H "Content-Type: application/json" \
 -H "Authorization: Bearer EMPTY" \
 -d '{
 "input": "Your text string goes here",
 "model": "chat-embed"
 }'

Ollama

Tue, 11 Feb 2025 00:00:00 +0000

windows 设置

1
2
3
4
5


# 设置模型存储位置
sudo setx OLLAMA_MODELS "e:\data\.ollama\models" /M

# 设置服务地址，端口号
sudo setx OLLAMA_HOST "0.0.0.0:11434" /M

使用

启动服务
1

ollama serve

调用模型

1
2


ollama run deepseek-r1:1.5b
ollama run deepseek-r1:7b

模型列表
1

ollama list

LLM Train

Fri, 12 Jul 2024 00:00:00 +0000

参考

教程

如何从零开始训练大模型？（非常详细）零基础入门到精通，收藏这一篇就够了_大模型怎么训练-CSDN博客

训练工具

LLaMA-Factory: GitHub - hiyouga/LLaMA-Factory: A WebUI for Efficient Fine-Tuning of 100+ LLM…
- 多种模型的云训练、微调工具

FAQ

模型大小

模型实际大小计算方法
```
总大小 = 7B * 4 bytes = 28 GB
```
- 但是实际上 Qwen2-7B 大小 15GB

RAG 检索增强生成

Wed, 26 Jun 2024 00:00:00 +0000

资料收集

HippoRAG:
- GitHub - OSU-NLP-Group/HippoRAG: HippoRAG is a novel RAG framework inspired b…
- 仿造人类大脑海马体记忆机制，改造版 RAG
句子嵌入: 交叉编码和重排序 - HuggingFace - 博客园
- embedding Vs reranker 模型区别
RRF (Reciprocal Rank Fusion)
- Elasticsearch：倒数排序融合 - Reciprocal rank fusion (RRF)-CSDN博客

Read Notes

Mon, 03 Jul 2023 00:00:00 +0000

论文：GPT Self-Supervision for a Better Data Annotator

参考：

https://arxiv.org/abs/2306.04349

流程分析

one shot tuning
- 找到最优 template (template_input_i, template_summary_i)
- input data –> summary –> recover data
- feedback values ?
  - similar alignment
- instruction, template, support data {w, t, x}.
  - w: instruction
  - t: template
    - 样本
    - 样本 summary
  - x: input data
- $$s_i \leftarrow F(x_i| t_i, w_g, \theta)$$ 生成 summary 过程

Prompt Engineering

Thu, 27 Apr 2023 00:00:00 +0000

Prompt Engineering 提示工程

参考：

ChatGPT火爆，最全prompt工程指南登GitHub热榜，标星4.7k！ - 知乎
GitHub - dair-ai/Prompt-Engineering-Guide: Guides, papers, lecture, and resou…
官方教程
- DLAI - Learning Platform Beta
  - 由吴恩达和 openai 员工一起完成
  - 包含 jupyter notebook 演示

文档：

Prompt-Engineering-Lecture-Elvis.pdf

自动提示词工程工具

参考：

GitHub - stanfordnlp/dspy: DSPy: The framework for programming—not prompting—…

LLM

Fri, 14 Apr 2023 00:00:00 +0000

教程

LLMForEverybody | 每个人都能看懂的大模型知识分享，LLMs春/秋招大模型面试前必看，让你和面试官侃侃而谈