开源工具1 分钟读完Hacker News
Experiential 发布开源网关,用流量数据优化模型路由
速览
Experiential 推出开源模型网关,通过统一 API 管理本地、托管及自带密钥模型。该网关延迟低于 1 毫秒,支持每日更新 1000 多个模型,并利用流量追踪数据微调开源模型。
Experiential 团队发布了一个开源模型网关,旨在统一管理本地部署、云端托管以及自带密钥(BYOK)的各类模型。该网关提供与 OpenAI 兼容的 API,支持流式格式、工具调用、模型参数、速率限制及错误处理等多种配置差异。其核心优势在于延迟极低,BYOK 请求延迟低于 1 毫秒,由 Experiential 提供密钥时延迟低于 2 毫秒。
该网关覆盖所有主流推理提供商,并每日通过自动化流程更新 1000 多个模型。与同类项目相比,Experiential 强调其开源、无加价,并允许用户将生产流量用于(可选)训练定制模型。用户可通过 pip 安装并快速启动,支持本地运行或使用托管平台,并能与 Claude Code、Cursor、Codex 等编码代理无缝集成。
另一大特色是利用 OpenTelemetry 追踪数据优化路由。用户可收集现有代理的追踪记录,构建模拟环境,并针对特定任务微调自有开源模型。系统默认开启匿名聚合遥测,但用户可随时关闭。
原文Show HN: We built open OpenRouter that turns usage into a better modelgithub.com
#开源#模型网关#Rust
本文由程序自动抓取公开报道,经 AI 筛选与改写生成,未经人工逐条核实,事实以原文为准。