Ai on Sawyer Zheng's Blog

MCP 协议 + 大模型 tools 调用

Thu, 12 Jun 2025 00:00:00 +0000

mcp server list

Smithery - Model Context Protocol Registry
- 一个集合了各种 mcp-server 的网站
MCP Market

client

参考：

GitHub - modelcontextprotocol/python-sdk: The official Python SDK for Model C…
quickstart-resources/mcp-client-python/client.py at main · modelcontextprotoc…
- 一个完整的 client 例子
中文博客

Paddlex

Fri, 23 May 2025 00:00:00 +0000

paddlex 内部的代码设计模式

使用Registry 注册模型信息

注册和查询工具：

1
2
3
4


get_registered_model_info = MODEL_INFO_REGISTRY.query
get_registered_suite_info = SUITE_INFO_REGISTRY.query
register_model_info = MODEL_INFO_REGISTRY.register_record
register_suite_info = SUITE_INFO_REGISTRY.register_record

suite_info 会注册 model_name 关联的 model class 、config class , runner class model_info 会注册所属的 suite_info, model_name, config_path, model 支持的 api 类型（train/eval/predict/export … ）

vllm

Fri, 09 May 2025 00:00:00 +0000

部署 embedding 模型

部署 bge-m3 模型

1

CUDA_VISIBLE_DEVICES=1 vllm serve /data/llm-model/bge/bge-m3/ --host 0.0.0.0 --port 15080 --served-model-name chat-embed

curl 调用：

1
2
3
4
5
6
7


curl http://172.16.10.88:15080/v1/embeddings \
 -H "Content-Type: application/json" \
 -H "Authorization: Bearer EMPTY" \
 -d '{
 "input": "Your text string goes here",
 "model": "chat-embed"
 }'

Ascend NPU

Fri, 14 Feb 2025 00:00:00 +0000

如何查看版本号

CANN

1
2
3
4
5
6
7
8


❯ cat /usr/local/Ascend/ascend-toolkit/latest/arm64-linux/ascend_toolkit_install.info
package_name=Ascend-cann-toolkit
version=8.0.RC3
innerversion=V100R001C19SPC001B155
compatible_version=[V100R001C13,V100R001C19],[V100R001C30]
arch=aarch64
os=linux
path=/usr/local/Ascend/ascend-toolkit/8.0.RC3/aarch64-linux

npu-smi info使用

npu-smi info 类似 nvidia-smi 命令，打印 NPU 调用情况
需要使用 root / sudo 权限来使用
在docker 中需要添加 --privileged

Bayesian Optimization

Tue, 19 Mar 2024 00:00:00 +0000

参考

数学之美——全概率公式贝叶斯公式
- 贝叶斯条件概率
贝叶斯优化方法和应用综述
Exploring Bayesian Optimization
- 许多英文资料和实现库

调参优化算法有哪些

算法金 | 最难的来了：超参数网格搜索、贝叶斯优化、遗传算法、模型特异化、Hyperopt、Optuna、多目标优化、异步并行优化 - 算法金「全网同名」…

Svm 支持向量机

Wed, 06 Mar 2024 00:00:00 +0000

参考

概念

硬间隔
软间隔
什么是支持向量
分类和回归上的区别

Autogen

Wed, 28 Feb 2024 00:00:00 +0000

参考资料

autogen 使用非 openai 模型：
- Local LLMs and Autogen: An Uprising of Local-Powered Agents | by Baby Command…
- microsoft/autogen#46 Integrate opensource LLMs into autogen
  - 一个关于如何让 autogen 接入 local models 的 issue

设置 key 和参数等， llm_config

参考：

LLM Configuration | AutoGen

eg:

metagpt

Wed, 28 Feb 2024 00:00:00 +0000

参考

原理说明：
- AI Agent框架——MetaGPT技术详解-CSDN博客
官方教程
- 概念简述 | MetaGPT

Train

Wed, 09 Aug 2023 00:00:00 +0000

关于拆分数据多机器

langchain

Tue, 08 Aug 2023 00:00:00 +0000

资源

搜索引擎工具

duckduckgo
- 免费
serpapi
- 100 次/月
travily
- 1000 次/月

列表

不同 agent 用途

Which Agent Type should I use? · langchain-ai/langchain · Discussion #12888 ·…
- React agent 如何选择
  1. AgentType.STRUCTURED_CHAT_ZERO_SHOT_REACT_DESCRIPTION
    - 适合 tool 有多个参数的情况

调用 Azure 上的 model

AzureChatModel

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


import os

from langchain.chat_models import AzureChatOpenAI
from langchain.schema import HumanMessage

if __name__ == "__main__":
 os.environ["OPENAI_API_TYPE"] = "azure"
 os.environ["OPENAI_API_VERSION"] = "2023-03-15-preview"
 os.environ["OPENAI_API_BASE"] = "https://wei202305.openai.azure.com/"
 os.environ["OPENAI_API_KEY"] = "<your azure key>"

 model = AzureChatOpenAI(deployment_name="gpt-35-turbo-01")

 ret = model([HumanMessage(content="Translate this sentence from English to French. I love programming.")])
 # AIMessage(content="J'adore programmer.", additional_kwargs={}, example=False)

必填参数

deployment_name='gpt-35-turbo-01'
azure_endpoint="https://wei202305.openai.azure.com/"
api_version="2023-03-15-preview"
api_key="…"

标准调用例子：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


from langchain.schema import HumanMessage
from langchain.chat_models import AzureChatOpenAI

AzureChatOpenAI(
 azure_deployment='gpt-35-turbo-01',
 api_key='0b4dfdf1786a1f84e0f9aba1a1ce2eeadfdfd1',
 azure_endpoint='https://hello202323434.openai.azure.com',
 api_version='2023-03-15-preview').invoke([HumanMessage(content='your name?')])

Out[24]: AIMessage(content="I am an AI language model created by OpenAI called GPT-3. I don't have a personal name, but you can refer to me as ChatGPT.")

AzureChatOpenAI(
 azure_deployment='gpt-35-turbo-01',
 api_key='0b4b1786adfdfdf4e0f1ce2eea171',
 azure_endpoint='https://wedi202dfdf.openai.azure.com',
 api_version='2023-03-15-preview')([HumanMessage(content='your name?')])

Out[25]: AIMessage(content="I am an AI language model created by OpenAI and I don't have a personal name. You can call me OpenAI or ChatGPT. How can I assist you today?")

不使用 HumanMessage, 直接 invoke(str) 例子：

1
2
3
4
5


AzureChatOpenAI(
 azure_deployment='gpt-35-turbo-01',
 api_key='0b4b1786adfdfdf4e0f1ce2eea171',
 azure_endpoint='https://wedi202dfdf.openai.azure.com',
 api_version='2023-03-15-preview')('your name?')

AzureOpenAIEmbeddings

1
2
3
4


In [3]: from langchain.embeddings import AzureOpenAIEmbeddings

In [4]: AzureOpenAIEmbeddings(azure_deployment='text-embedding-ada-002', api_key='0b4b1786a1f84e0f9ab34er3dfdfce2eea171', azure_endpoint='https://hello334343.openai.azure.com/').embed_query('hell
 ...: o')

Chain 的调用

调用顺序：

Pytorch

Tue, 08 Aug 2023 00:00:00 +0000

安装

Start Locally | PyTorch

torchrun 训练

错误问题

突然中断 sighup 1

原因
- 使用 nohup + torchrun 后台运行导致
解决方法
- 参考： DDP Error: torch.distributed.elastic.agent.server.api:Received 1 death signal…
- 使用 tmux 或者 screen 命令把 torchrun 后台运行

torch.Tensor

Tensor.scatter_ 用法

参考：

transformers

Tue, 08 Aug 2023 00:00:00 +0000

参考

模型训练 GPU、多 GPU、 CPU、多 CPU 等

多机器并行训练方法

Transformers多机多卡的炼丹实践 - 知乎

速度慢分析

模型转换

转换成 huggingface transformers 格式

参考：

Codegeex

Fri, 17 Mar 2023 00:00:00 +0000

api 文档

api key

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


"use strict";
Object.defineProperty(exports, "__esModule", { value: true });
exports.surveyUrlEN = exports.surveyUrlCN = exports.statApiHerf = exports.testSecret = exports.testKey = exports.testHref = exports.apiSecret = exports.apiKey = exports.apiHref = void 0;
// //tianqi api config
exports.apiHref = "https://tianqi.aminer.cn/api/v2";
exports.apiKey = "68cf004321e94b47a91c2e45a8109852";
exports.apiSecret = "e82b86a16f9d471ab215f653060310e3";
//wudao api config
// export const apiHref ='https://wudao.aminer.cn/os/api/api/v2';
// export const apiKey = 'f30ea902c3824ee88e221a32363c0823';
// export const apiSecret = '90664fc066434fac8983d309c758cd4d';
exports.testHref = 'https://wudao.aminer.cn/os/api/api/v2';
exports.testKey = 'f30ea902c3824ee88e221a32363c0823';
exports.testSecret = '90664fc066434fac8983d309c758cd4d';
//data statistics api
exports.statApiHerf = "https://maas.aminer.cn"; //process.env.NODE_ENV==='development'?'http://10.50.74.216:32621':'https://maas.aminer.cn';
exports.surveyUrlCN = "https://wj.qq.com/s2/11259178/fd49/";
exports.surveyUrlEN = "https://wj.qq.com/s2/11260705/6cd6/";
//# sourceMappingURL=localconfig.js.map

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37


{
 "message": "success",
 "result": {
 "app": "multilingual_code_generate",
 "created_at": "Fri, 17 Mar 2023 06:18:52 GMT",
 "input": {
 "lang": "Python",
 "n": 3,
 "stop": [],
 "text": "# language: Python\nfrom typing import List\n\ndef has_close_elements(numbers: List[float], threshold: float) -> bool:\n \"\"\" Check if in given list of numbers, are any two numbers closer to each other than\n given threshold.\n >>> has_close_elements([1.0, 2.0, 3.0], 0.5)\n False\n >>> has_close_elements([1.0, 2.8, 3.0, 4.0, 5.0, 2.0], 0.3)\n True\n \"\"\"\n"
 },
 "output": {
 "code": [
 " for i in range(len(numbers) - 1):\n"
 ],
 "code_dict": [
 {
 "context": "# language: Python\nfrom typing import List\n\ndef has_close_elements(numbers: List[float], threshold: float) -> bool:\n \"\"\" Check if in given list of numbers, are any two numbers closer to each other than\n given threshold.\n >>> has_close_elements([1.0, 2.0, 3.0], 0.5)\n False\n >>> has_close_elements([1.0, 2.8, 3.0, 4.0, 5.0, 2.0], 0.3)\n True\n \"\"\"\n",
 "cum_log_probs": -0.7978824377059937,
 "generated": " for i in range(len(numbers) - 1):\n"
 }
 ],
 "completion_token_num": 32,
 "errcode": 0,
 "prompt_token_num": 132
 },
 "process_time": 0.8907933235168457,
 "task_id": "6414064ce016d96e7c58780e",
 "updated_at": "Fri, 17 Mar 2023 06:18:52 GMT",
 "user": {
 "appId": "6fd2a2a76f0a4015af45ef30f8c1436f",
 "id": "631ed7b83676d9dea55bcecd",
 "name": "游客459664"
 }
 },
 "status": 0
}

AI Chemistry

Sun, 17 Jul 2022 00:00:00 +0000

参考：

介绍
- AI for chemistry - ChemIntelligence

Knowledge Graph 知识图谱

Tue, 17 May 2022 00:00:00 +0000

教程

概念

Knowledge Graph 知识图谱
semantic network 语义网络

nltk ---- classic natural language processsing tool kit

Tue, 05 Apr 2022 00:00:00 +0000

安装

conda install nltk
python -c 'import nltk; nltk.download_gui()'
- 语料和模型下载

语料 corpus

参考：

官方：https://www.nltk.org/nltk_data/

Machine Learning

Tue, 22 Mar 2022 00:00:00 +0000

教程

【莫烦Python】Scikit-learn (sklearn) 优雅地学会机器学习_哔哩哔哩_bilibili
Start Here with Machine Learning
- 系列教程，包含代码，英文

书籍

《机器学习》周培德
- 西瓜书
- 机器学习 (豆瓣)
GitHub - datawhalechina/pumpkin-book: 《机器学习》（西瓜书）公式详解

Spacy ---- a python nlp framework

Mon, 21 Mar 2022 00:00:00 +0000

教程

spacy-course
- github repo
spacy 101
- 基础入门和 nlp 基础知识介绍
- spaCy 101: Everything you need to know · spaCy Usage Documentation
lingustic features
- nlp 基础概念
- Linguistic Features · spaCy Usage Documentation

Vectorizer

Mon, 21 Mar 2022 00:00:00 +0000

TF-IDF

参考： TF-IDF原理及使用_zrc199021 的博客-CSDN博客_tfidf

词频——逆向词频，term frequency-inverse document frequency

特性：

倾向于过滤掉常见词语

作用：评估给定词对整个语料集（语料库）的给定单条语料的重要性。

relation extraction of NLP

Sat, 09 Oct 2021 00:00:00 +0000

算法

Boostrap Learning

Snowball

Boostrap 的一种改良算法
2000 年发表
参考教程
- 原版论文： Snowball: Extracting Relations from Large Plain-Text Collections
- Snowball 关系提取，简单理解 - 知乎
- 有图文解释：笔记:关系抽取算法之Snowball_哈呼 bro的博客-CSDN博客_snowball 算法

Distant Supervision

远程监督
参考教程

Clustering Algorithms

Thu, 16 Sep 2021 00:00:00 +0000

教程

英语
- 10 Clustering Algorithms With Python
  - 生词
    - outlier
    - anomaly
    - prior to, 在 … 之前
      - 类似 before
聚类效果评估
- How to measure clustering performances when there are no ground truth? | by H…

用途

pattern discovery or knowledge discovery
- 模式发现，知识发现
特征工程

算法实现角度

相似性
距离判断

常见算法初始参数

参数

nlp notes

Wed, 06 Jan 2021 00:00:00 +0000

教程

nlp 项目组

DARPA COSMOS

sentence_parsing

Tue, 05 Jan 2021 00:00:00 +0000

教程

宾州树库
- https://www.nltk.org/book/ch08.html

句法结构分析

sentence -> clauses -> phrases -> words
- 句子 -> 从句 -> 短语 -> 单词

单词

N(oun)
- NN (singular noun)
- NNS (plural noun)
- NNP (singular proper noun)
  - 单数专有名词
    - 如人名，地名，物名等等
V(erb)
Adj
Adv
Det

Stanza Notes

Tue, 05 Jan 2021 00:00:00 +0000

入门教程

ipython
- https://github.com/stanfordnlp/stanza/blob/master/demo/Stanza_Beginners_Guide.ipynb

数据对象和注解 Data Objects and Annotations

Document
Sentence
Token
Word
Span
others …

POS (part of speech)

POSProcessor

upos

包含 universal pos 标记

Universal pos tags 类型

官方资料
- https://universaldependencies.org/u/pos/
个人理解
- 标注词性，词的类型
  - 是名词还是动词
  - 并不说明跟其它词的关系

xpos

tree bank-specific POS 标记
用于语法树解析

xpos 类型

官方资料

AI Notes

Fri, 25 Dec 2020 00:00:00 +0000

社区网站

模型收集网站
- hugging face, AI 的 github
- Hugging Face – The AI community building the future.
AI 产品收集和社区讨论
- AI Product Hub - Find the best new AI Products
- aiproduct on reddit

工具

模型效果分析工具

google LIT: Language Interpretability Tool(LIT)
- web ui
- GitHub - PAIR-code/lit: The Language Interpretability Tool: Interactively ana…
hugging face

Tensorflow Notes

Fri, 25 Dec 2020 00:00:00 +0000

tensorflow-gpu 安装

stackoverflow
- https://stackoverflow.com/questions/51306862/how-do-i-use-tensorflow-gpu
官网
- https://www.tensorflow.org/install/gpu

windows

参考
- https://zhuanlan.zhihu.com/p/94220564?utm_source=wechat_session
步骤
- python3 x64
- 查看 nvidia drive cuda 支持版本
- 下载 cuda
  - https://link.zhihu.com/?target=https%3A//developer.nvidia.com/cuda-downloads
- 下载 cudnn
  - https://link.zhihu.com/?target=https%3A//developer.nvidia.com/rdp/cudnn-download
  - 把 cudnn 解压得到的 lib, bin, include 复制到 cuda 安装目录

在 wsl2 上使用 tensorflow-gpu

参考
- https://docs.nvidia.com/cuda/wsl-user-guide/index.html
windows 端：
- 安装使 wsl2 支持 gpu 的驱动

Sciencebeam-Gym Notes

Thu, 24 Dec 2020 00:00:00 +0000

Sciencebeam-Gym 项目 git

https://github.com/elifesciences/sciencebeam-gym
原始使用目标
- elif: https://elifesciences.org/

数据集 datasets

介绍：
- https://grobid.readthedocs.io/en/latest/End-to-end-evaluation/
数据：
- https://zenodo.org/record/3873702#.X-RG8TTitPY

sklearn ---- python ai assistant tool

Mon, 03 Aug 2020 00:00:00 +0000

cheat sheet

Choosing the right estimator — scikit-learn 1.2.2 documentation
- 选择模型

MinMaxScaler

归一化工具，把特征 feature 放缩到给定的范围内（默认值 0~1）

Ai on Sawyer Zheng's Blog

MCP 协议 + 大模型 tools 调用

mcp server list

client

Paddlex

paddlex 内部的代码设计模式

使用Registry 注册模型信息

vllm

部署 embedding 模型

Ascend NPU

如何查看版本号

CANN

npu-smi info使用

Bayesian Optimization

参考

调参优化算法有哪些

Svm 支持向量机

参考

概念

Autogen

参考资料

设置 key 和 参数等， llm_config

metagpt

参考

Train

关于拆分数据多机器

langchain

资源

搜索引擎工具

列表

不同 agent 用途

调用 Azure 上的 model

AzureChatModel

必填参数

标准调用例子：

不使用 HumanMessage, 直接 invoke(str) 例子：

AzureOpenAIEmbeddings

Chain 的调用

Pytorch

安装

torchrun 训练

错误问题

突然中断 sighup 1

torch.Tensor

Tensor.scatter_ 用法

transformers

参考

模型训练 GPU、 多 GPU、 CPU、多 CPU 等

多机器并行训练方法

速度慢分析

模型转换

转换成 huggingface transformers 格式

Codegeex

api 文档

api key

AI Chemistry

参考：

Knowledge Graph 知识图谱

教程

概念

nltk ---- classic natural language processsing tool kit

安装

语料 corpus

Machine Learning

教程

书籍

Spacy ---- a python nlp framework

教程

Vectorizer

TF-IDF

relation extraction of NLP

算法

Boostrap Learning

Snowball

Distant Supervision

Clustering Algorithms

教程

用途

算法实现角度

常见算法初始参数

设置 key 和参数等， llm_config

模型训练 GPU、多 GPU、 CPU、多 CPU 等

在 wsl2 上使用 tensorflow-gpu