Paddlex

2025-05-23 约 286 字 预计阅读 1 分钟

paddlex 内部的代码设计模式

使用Registry 注册模型信息

注册和查询工具：

1
2
3
4

get_registered_model_info = MODEL_INFO_REGISTRY.query
get_registered_suite_info = SUITE_INFO_REGISTRY.query
register_model_info = MODEL_INFO_REGISTRY.register_record
register_suite_info = SUITE_INFO_REGISTRY.register_record

suite_info 会注册 model_name 关联的 model class 、config class , runner class model_info 会注册 所属的 suite_info, model_name, config_path, model 支持的 api 类型（train/eval/predict/export … ）

阅读更多

vllm

2025-05-09 约 55 字 预计阅读 1 分钟

部署 embedding 模型

部署 bge-m3 模型

1

CUDA_VISIBLE_DEVICES=1 vllm serve /data/llm-model/bge/bge-m3/ --host 0.0.0.0 --port 15080 --served-model-name chat-embed

curl 调用：

1
2
3
4
5
6
7

curl http://172.16.10.88:15080/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer EMPTY" \
  -d '{
    "input": "Your text string goes here",
    "model": "chat-embed"
  }'
阅读更多

Syncthing

2025-04-21 约 117 字 预计阅读 1 分钟

如何在两台 ssh tunnel 连接的机器上使用 syncthing

参考：

步骤：

  1. 建立 ssh tunnel

    1

    autossh -M 0 -N   -L 127.0.0.1:22001:127.0.0.1:22000 -R 127.0.0.1:22001:127.0.0.1:22000 Remote-Server
    • -L local 22001 <– remote 22000
    • -R remote 22000 –> local 22001
  2. 在本地 连接的 remote 上 选项 -> 高级 中，设定 remote 的连接地址： tcp://127.0.0.1:22001
  3. 在远程机器上设置连接的 local 上， 选项 -> 高级 中，设定 local 的连接地址： tcp://127.0.0.1:22001
阅读更多

Arm64 Aarch64

2025-02-16 约 10 字 预计阅读 1 分钟

miniconda 安装

1
2
3

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh

sh Miniconda3-latest-Linux-aarch64.sh
阅读更多