∴ GitHub / 趋势仓库

cactus-compute / needle

面向微型设备的自动化基础模型,支持工具调用、结构化提取与嵌入

语言
Python
Star
11.8k
Fork
755
当日新增(09-20)
+234
累计在榜
2 天
最高名次
第 14 名
首次上榜
2026-09-19
去 GitHub 查看 ↗项目主页 ↗

∴ 是什么

Needle 是一个面向手机、可穿戴设备、机器人、智能家居、汽车和微控制器的自动化基础模型,整个模型为单个 8-29 MB 的二进制文件,基于 Simple Attention Network 构建。它提供工具调用、结构化提取、文本嵌入和语音识别(通过 Whistle 模型)功能,并带有校准的置信度分数。模型采用 Laddered Simple Attention Network 架构,支持从 2 到 20 层的子网络部署。

∴ 解决什么问题

  • 在资源受限的微型设备上运行自动化任务,而非依赖云端大模型
  • 从用户语句中准确选择工具并填充参数,避免猜测
  • 从非结构化文本中提取结构化字段,并保证输出可解析
  • 在本地进行文本搜索、匹配和路由,无需联网

∴ 怎么上手

  1. 01安装:pip install cactus-needle
  2. 02在 Python 中装饰一个函数,签名提供参数类型,docstring 作为工具描述:@needle.tool 定义函数
  3. 03创建 agent:agent = needle.Needle(tools=[get_weather])
  4. 04运行:agent.run("what's it like in Lagos right now?")["results"]
  5. 05使用语音识别:needle.transcribe("clip.wav")["text"]
  6. 06构建部署:needle build --platform macos-arm64

∴ 适合谁

面向需要在小内存设备上部署自动化 AI 功能的开发者,例如移动应用、物联网设备、嵌入式系统开发者,以及需要本地工具调用和结构化提取的场景。

∴ 要点

  • 整个模型为单个 8-29 MB 二进制文件,可在资源受限设备上运行
  • 支持工具调用,可处理多步请求并返回空列表而非猜测
  • 使用字节级语法约束解码,保证输出可解析
  • 提供校准的置信度分数,用于决策
  • Whistle 语音转文本模型与 Needle 共享容器和引擎,支持 7 种语言
  • 支持通过 LoRA 或全量微调进行定制,并提供本地和云端两种方式
许可证 Apache-2.0cactusedge-aifoundation-modelfunction-callingllmon-device-aitinymltool-calling

解读由 AI 依据项目 README 生成,生成于 2026-10-06,以 GitHub 原文为准。

∴ 在榜记录

GitHub Trending 今日榜的每日存档,日期按北京时间。2026-09-19 首次上榜,累计在榜 2 天,最高第 14 名。

[object Object]2026-09-19 +2072026-09-20 +234
每日新增 Star · 2026-09-19 至 2026-09-20 · 共 2 个在榜日峰值 +234
日期名次当日新增总 Star
#14+23411,780
#14+20711,454