llama-cpp-docker-stack

llama.cpp Docker 本地模型服务栈 本项目使用 Docker Compose 在 NVIDIA GPU 上运行多个 llama.cpp 服务,并通过一个 Nginx 网关提供统一 HTTP 入口。聊天和 Embedding 接口采用 OpenAI 兼容格式,/v1/rerank...

最近更新: 4天前

deep-vision

🔥🔥🔥 从数据标注、模型训练到实时推理监控的全流程AI视觉系统

最近更新: 5个月前

搜索帮助