LLAMA.CPP升级成功命令

一把老骨头 发布于 阅读:27 经验技巧

cd ~/llama.cpp
rm -rf tools/ui/dist
rm -rf build

安装 Node.js 和 npm(用于构建 UI 资源)

curl -fsSL https://deb.nodesource.com/setup_20.x | sudo -E bash -
sudo apt install -y nodejs

重新编译

mkdir build && cd build
cmake .. \
-DCMAKE_BUILD_TYPE=Release \
-DGGML_CUDA=ON \
-DLLAMA_CURL=ON \
-DLLAMA_SERVER=ON
make -j$(nproc)

参数:
-DGGML_CUDA=ON 启用 NVIDIA CUDA GPU 加速
-DGGML_CUDA_F16=ON 启用 FP16 计算(可选,提升性能)
-DLLAMA_CURL=ON 启用 HTTP/HTTPS 网络支持(Web UI 需要)
-DLLAMA_SERVER=ON 编译 llama-server(Web UI 服务)
-DLLAMA_AVX2=ON 启用 AVX2 指令集优化(Intel CPU)