那时难决

大语言模型的函数调用能力是指其能够调用外部工具或API来实现特定功能的能力。这种能力使得大语言模型能够超越自身的限制，访问实时信息、执行复杂计算或操作外部系统，从而增强其解决问题的能力。

Openai的对话模型通过其API支持函数调用功能，其实现方式为：

• API参数设置：在调用OpenAI的API时，可以通过tools参数提供函数调用的规范。这包括函数的名称、描述和参数。
• 模型输出处理：模型不会直接执行函数调用，而是生成一个包含函数名称和参数的JSON对象。开发人员需要使用这个对象来实际调用函数。
• 函数调用的响应：如果模型决定调用函数，其输出将包含在finish_reason为tool_call的响应中，包含要调用的函数和参数信息。
• 手动调用函数后，创建一个role为tool的消息添加到历史消息列表中，再调用一次对话模型。模型会根据函数调用的结果返回相应的信息。

我从去年末开始参与 Windows C++客户端的开发工作，几个月下来，总体上体验还是比较优秀的。

使用现代 C++语言标准

自 C++11 标准推出以来，现代 C++ 标准已发展到 C++20。许多新特性和标准库改进极大地提升了开发体验、代码简洁性和程序安全性。例如：

• 自动类型推导 (auto) 减少了复杂类型声明的代码；
• 智能指针降低了内存安全问题的风险；
• 函数对象和 lambda 表达式带来了类函数式编程的体验；
• thread、range 等许多实用的标准库；

合理使用设计模式

作为典型的面向对象语言，在 C++中适当地使用设计模式有助于编写可重用、可维护和可扩展的代码。比较有用的设计模式有：单例模式、工厂模式和抽象工厂模式、建造者模式、策略模式、命令模式等。

值得注意的是，许多设计模式需要区分接口类和实现类。通常在 C++ 中，通过声明一个 virtual 的虚构函数来定义一个抽象基类。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

#include <iostream>
#include <memory>
#include <string>
#include <sstream>

class IDisplay {
 public:
  virtual std::string toString() = 0;
  virtual ~IDisplay() {}
};

class Message : public IDisplay {
 public:
  std::string content;
  Message(std::string content) : content(content) {}
  std::string toString() override {
    std::ostringstream os;
    os << "Message(" << content << ")";
    return os.str();
  }
};

int main() {
  std::unique_ptr<IDisplay> obj = std::make_unique<Message>("ok");
  std::cout << obj->toString() << std::endl;
  return 0;
}

随着持续的版本演进，VS Code 的功能也越来越多，其中一个比较好用的功能是 VS Code 配置（VS Code Profiles）。

Visual Studio Code有数百种设置、数千种扩展和无数种调整UI布局的方法来自定义编辑器。VS Code Profiles允许您创建自定义设置，并在它们之间快速切换或与他人共享。

VS Code 配置总体上使用比较简单，可以参考官方文档。

目前最常见的运行大语言模型的方式是使用 Python 的transformers库。只需要数行代码就可以加载并运行诸多 hugingface 平台上托管的语言模型。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

from transformers import AutoTokenizer
import transformers
import torch

model = "meta-llama/Llama-2-7b-chat-hf"

tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

sequences = pipeline(
    'I liked "Breaking Bad" and "Band of Brothers". Do you have any recommendations of other shows I might like?\n',
    do_sample=True,
    top_k=10,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
    max_length=200,
)
for seq in sequences:
    print(f"Result: {seq['generated_text']}")

不过使用 transformers 库还是有一些先决条件的，包括：

• 配置 Python 虚拟环境；
• 安装 pytorch 库；
• 安装 cuda 环境等；

Mozilla 团队推出了一个新项目llamafile，可以使用单个文件分发并运行大语言模型。

下载 llamafile 模型文件

llamafile项目的github主页上提供了若干个不同规模的语言模型的llamafile格式文件下载链接，我选择的是LLaVa 1.5，参数规模适中（3.97GB）,能够运行在家里8G显存的PC上，并且本身是一个多模态模型，可以分析图片。

上个季度加入了公司的 AI 团队，负责的工作除了常规的服务端开发之外，还包括了在端上运行机器学习模型。考虑到性能因素，没有使用 Python 或 Node.js 等运行时，而是直接使用 C++来执行模型推理逻辑。在这里分享一些经验和教训。

模型格式

我们使用的模型格式是 onnx。onnx 是一种开放的模型格式，使用一个二进制文件存储模型的结构和参数，可以在不同的平台上使用不同的运行时加载和执行。目前主流的深度学习框架都支持导出 onnx 模型，例如 PyTorch、TensorFlow 等。

模型运行时

对于常见的网络结构的模型，可以使用 OpenCV 的 dnn 模块来加载和执行。OpenCV 是一个开源的计算机视觉库，提供了很多计算机视觉相关的功能，其中 dnn 模块提供了加载和执行深度学习模型的功能。

对于一些使用了自定义算子的模型，OpenCV 的 dnn 模块可能无法加载，这时候可以使用 onnxruntime 来加载和执行模型。onnxruntime 是微软开源的一个 onnx 运行时，支持加载和执行 onnx 模型，支持 CPU 和 GPU 加速。小小的吐槽一下，与 Python 的 onnxruntime sdk 相比，C++ 的 onnxruntime sdk 的接口有够难用。

Windows 上使用 onnxruntime 的一个坑

Windows 10 和 Windows 11 在系统库里内置了一个较旧版本的 onnx runtime，如果使用了较新的 onnxruntime，可能会出现加载模型失败的问题。一个解决方式是在代码中指定加载动态链接库的路径，并通过 onnx runtime 的 api 指定加载的版本。

1
2
3
4
5
6
7
8
9
10
11
12

#include "Windows.h"
#define ORT_API_MANUAL_INIT // 定义这个宏可以禁止 onnxruntime 自动加载
#include <onnxruntime_cxx_api.h>

int main(){
  auto mod = LoadLibrary(L"onnxruntime1.16.1.dll");
  auto OrtGetApiBase =
      (const OrtApiBase *(*)(void))GetProcAddress(mod, "OrtGetApiBase");
  Ort::InitApi(OrtGetApiBase()->GetApi(ORT_API_VERSION));

  // ...
}

近期简单学习了一下向量数据库 qdrant 与 sentence-transformers 库，两者结合可以构建一个简单的自然语言搜索引擎。顺着官方的教程实操了一遍之后，稍微调整一番，我在中文数据集上构建了一个自然语言搜索引擎。

数据采集

教程中的数据集是一些美国的初创公司的数据（来自 startups-list.com），我打算自己从互联网上采集一些中文数据集，正好近期一直在使用微信读书，决定采集微信读书平台上计算机分类下的书籍数据。

观察了微信读书网页版的请求之后，我发现可以通过 ‘https://weread.qq.com/web/bookListInCategory/{type}?maxIndex={maxIndex}‘ 获取指定分类下的书籍列表。
在实验过程中，我发现即使分类下有更多的书籍，maxIndex 超过 480 之后就不再返回新的数据了，这应该是微信读书官方的一些限制。不过计算机分类下一共有七个子分类，每个分类都采集四百多本书籍，总共有 3000 多本书籍，也足够使用了。

首先定义一个函数用于获取制定分类指定页数的书籍列表。

1
2
3
4
5
6

url = 'https://weread.qq.com/web/bookListInCategory/'
def fetch_page(param):
    type, page = param
    _url = f"{url}{type}?maxIndex={page*20}"
    resp = requests.get(_url)
    return resp.json()["books"]

为了提高采集的效率，我创建了一个线程池用于批量执行采集任务。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

from itertools import product
with ThreadPoolExecutor(max_workers=10) as executor:
    pages = list(
        executor.map(
            fetch_page,
            product(
                [700001, 700002, 700003, 700004, 700005, 700006, 700007],
                range(1, 25),
            ),
        )
    )

books = []
for page in pages:
    books.extend(page)

最终的执行时间是 11 秒，相当不错的速度。

数据处理

参考教程里的流程，我使用 pandas 进行了初步的数据处理，并用 sentence-transformers 库生成书籍描述的向量表示。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

from sentence_transformers import SentenceTransformer
import numpy as np
import pandas as pd

model = SentenceTransformer(
    "paraphrase-multilingual-MiniLM-L12-v2", device="cuda"
)

df = pd.DataFrame([book['bookInfo'] for book in books])

vectors = model.encode(
    [row.title + ". " + row.author + "." + row.intro for row in df.itertuples()],
    show_progress_bar=True,
)

vectors.shape  # (3244, 384)

np.save("wx_books.npy", vectors, allow_pickle=False)

近期在研究开源的 rust 实现的向量数据库 qdrant。顾名思义，向量数据是用于存储和查询向量的数据库，而向量本质上是一个多维空间中的点。如果要用向量数据库处理文本数据，就需要将文本转换为向量表示，机器学习术语叫做文本嵌入（Text Embedding）。

传统的文本嵌入方法是基于统计的，比如 TF-IDF，Word2Vec 等。随着 transformer 架构的出现和发展，基于 transformer 的文本嵌入方法也越来越流行，并且在很多任务上取得了很好的效果。sentence-transformers 就是一个基于 transformer 的文本嵌入工具包，可以用于生成句子的向量表示。

安装 sentence-transformers

安装 pytorch

可以前往 pytorch 官网 根据自己的环境选择合适的安装方式，我的设备是 RTX 2060s 的 Windows PC，安装了 windows 的 cuda 版本。

1

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

安装好 pytorch 后可以验证一下。

1
2
3
4
5
6
7
8
9
10
11

import torch

# Check if PyTorch is installed
print("PyTorch version:", torch.__version__)

# Check if CUDA is available
print("CUDA available:", torch.cuda.is_available())


x = torch.rand(5, 3)
print(x)

安装 sentence-transformers

sentence-transformers 可以直接使用 pip 安装。

1

pip3 install sentence-transformers

使用 sentence-transformers

sentence-transformers 提供了很多预训练模型，可以直接使用。我们这里使用的是 paraphrase-multilingual-MiniLM-L12-v2 模型，支持多语言，模型尺寸也比较大（480M）。只处理英文文本的话，可以使用 all-MiniLM-L6-v2 模型（80M）。

1
2
3
4
5
6
7
8
9
10

from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer("paraphrase-multilingual-MiniLM-L12-v2")

#Sentences are encoded by calling model.encode()
emb1 = model.encode("This is a red cat with a hat.")
emb2 = model.encode("Have you seen my red cat?")

cos_sim = util.cos_sim(emb1, emb2)
print("Cosine-Similarity:", cos_sim) # Cosine-Similarity: tensor([[0.7097]])

上述代码中，我们使用 sentence-transformers 加载了 paraphrase-multilingual-MiniLM-L12-v2 模型，并使用该模型将两个句子转换为向量表示，然后计算了两个向量的余弦相似度。

余弦相似度是一个常用的相似度度量方法，其值域为 [-1, 1]，值越大表示两个向量越相似。其他的相似度度量方法还有欧氏距离、曼哈顿距离等。

shuttle 平台简介

shuttle 是一个 PaaS 平台，用于部署 rust 后端服务，支持多个流行的 rust web 框架，如 axum，actix-web、rocket 等。作为对比的话，类似于 heroku(python) 和 deno deploy 平台。

部署 shuttle 服务

将一个现有的 rust web 服务改造并部署到 shuttle 平台上非常简单。拿 axum 框架距离只需要在 cargo.toml 中添加 shuttle-runtime 与 shuttle-axum 依赖，并简单地修改 main 函数即可。

1
2
3
4
5
6
7

#[shuttle_runtime::main]
async fn axum() -> shuttle_axum::ShuttleAxum {

    let router = Router::new().route("/", get(hello_world));

    Ok(router.into())
}

然后通过命令行工具即可将服务部署到 shuttle 平台上。

1
2
3
4

# cargo install cargo-shuttle ## 安装cargo shuttle
# cargo shuttle login ## 登录shuttle
# cargp shuttle project start ## 创建项目
cargo shuttle deploy # 部署服务

实践

花了一点时间，我将之前开发的二维码生成服务qr-web-rs部署到了 shuttle 平台上，可以通过以下两个链接访问。

• https://qr-web.shuttleapp.rs/qr?content=XXXX 返回 HTML 页面
• https://qr-web.shuttleapp.rs/api/qr?content=XXXX 直接返回 PNG 图片

总结

shuttle 平台体验相当不错，并且有不少的免费额度，可以用于个人 rust 服务的部署。

前缀树（Trie 树，也称为字典树、单词查找树）是一种树形数据结构，用于高效地存储和检索字符串集合中的键。前缀树的主要优势在于能够快速地查找具有相同前缀的字符串，并且对于大量的字符串集合，它可以提供较高的检索效率。

前缀树的应用非常广泛，包括：

• 字符串检索：通过前缀树可以快速查找是否存在某个字符串，或者查找具有相同前缀的所有字- 符串。
• 自动完成：前缀树可以用于实现自动完成功能，根据用户输入的前缀提供可能的建议。
• IP 路由：在路由表中，前缀树用于快速匹配最长前缀。

前缀树可以通过多种方式实现，在 Python 中最简单且直观的方式是用嵌套的 dict 实现。

首先定义一下前缀树的接口，应该包括 insert、search 和 startswith 三个方法。

1
2
3
4
5
6
7
8
9
10

trie = Trie()
trie.insert("app")
trie.insert("apple")
trie.insert("banana")
assert trie.startswith("a")
assert trie.startswith("ba")
assert not trie.startswith("c")
assert trie.search("app")
assert not trie.search("appl")
assert trie.search("apple")

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

class Trie:
    def __init__(self):
        self.root = {-1: False}

    def insert(self, word: str):
        parent = self.root
        for ch in word:
            node = parent.get(ch, {-1: False})
            parent[ch] = node
            parent = node
        parent[-1] = True

    def __find(self, word:str):
        node = self.root
        for ch in word:
            if ch not in node:
                return None
            node = node[ch]
        return node

    def search(self, word: str) -> bool:
        node = self.__find(word)
        return node is not None and node[-1]

    def startswith(self, prefix: str) -> bool:
        node = self.__find(prefix)
        return node is not None

最近在研究htmx库的时候突发奇想，利用 htmx 和我之前发布的 Python 库html-dsl应该可以做到只使用 Python 代码构建可交互的 Web 应用。在稍作尝试后，我实现了一个简单的 Todo 应用todopy。