∴ GitHub / 趋势仓库
cactus-compute / needle
面向微型设备的自动化基础模型,支持工具调用、结构化提取与嵌入
- 语言
- Python
- Star
- 11.8k
- Fork
- 755
- 当日新增(09-20)
- +234
- 累计在榜
- 2 天
- 最高名次
- 第 14 名
- 首次上榜
- 2026-09-19
∴ 是什么
Needle 是一个面向手机、可穿戴设备、机器人、智能家居、汽车和微控制器的自动化基础模型,整个模型为单个 8-29 MB 的二进制文件,基于 Simple Attention Network 构建。它提供工具调用、结构化提取、文本嵌入和语音识别(通过 Whistle 模型)功能,并带有校准的置信度分数。模型采用 Laddered Simple Attention Network 架构,支持从 2 到 20 层的子网络部署。
∴ 解决什么问题
- 在资源受限的微型设备上运行自动化任务,而非依赖云端大模型
- 从用户语句中准确选择工具并填充参数,避免猜测
- 从非结构化文本中提取结构化字段,并保证输出可解析
- 在本地进行文本搜索、匹配和路由,无需联网
∴ 怎么上手
- 01安装:pip install cactus-needle
- 02在 Python 中装饰一个函数,签名提供参数类型,docstring 作为工具描述:@needle.tool 定义函数
- 03创建 agent:agent = needle.Needle(tools=[get_weather])
- 04运行:agent.run("what's it like in Lagos right now?")["results"]
- 05使用语音识别:needle.transcribe("clip.wav")["text"]
- 06构建部署:needle build --platform macos-arm64
∴ 适合谁
面向需要在小内存设备上部署自动化 AI 功能的开发者,例如移动应用、物联网设备、嵌入式系统开发者,以及需要本地工具调用和结构化提取的场景。
∴ 要点
- 整个模型为单个 8-29 MB 二进制文件,可在资源受限设备上运行
- 支持工具调用,可处理多步请求并返回空列表而非猜测
- 使用字节级语法约束解码,保证输出可解析
- 提供校准的置信度分数,用于决策
- Whistle 语音转文本模型与 Needle 共享容器和引擎,支持 7 种语言
- 支持通过 LoRA 或全量微调进行定制,并提供本地和云端两种方式
许可证 Apache-2.0cactusedge-aifoundation-modelfunction-callingllmon-device-aitinymltool-calling
解读由 AI 依据项目 README 生成,生成于 2026-10-06,以 GitHub 原文为准。
∴ 在榜记录
GitHub Trending 今日榜的每日存档,日期按北京时间。2026-09-19 首次上榜,累计在榜 2 天,最高第 14 名。