从头开始构建的轻量级 vLLM 。 主要特点 快速离线推理 – 与 vLLM 相当的推理速度 可读代码库 - 不到 1200 行 Python 代码的干净实现 优化套件 - 前缀缓存、Torch 编译、CUDA 图形等
这是一个个人（Zhijie Wong）维护的、使用TypeScript编写的轻量级终端AI助手项目。虽然社区影响力不及前两者，但项目本身功能完整，持续更新，是一个可靠的个人开源项目。 项目地址：https://github.com/zhijiewong/openharness。核心定位：一个面向终端（Terminal）的AI编码助手，强调本地化和轻量级。
#实践验证：大模型驱动的智能体通用平台，招募各种Agent，共同帮助人解决复杂任务。
Contributions last year: 6
Max continuous contributions: 1
Recent contributions: 1
Commits, issues, and pull requests will appear on your contribution graph. Only when the email address used for the commits in local configuration is associated with your GitOSC account, the commits' contribution will be counted.
