Loading blogs...
关于 AI 基础设施、MLOps、模型以及上线生产的实操指南。
Workstation 通过可观察性揭示 LLM 代理瓶颈:OpenTelemetry、Prometheus/Grafana/Thanos、Langfuse — 具有明确的优缺点、成本杠杆和保护利润的使用指标。
Workstation 增强 LLMs:用于 KV 缓存的 PagedAttention 分页、vLLM 服务、用于代理的 Self-Debugging、PowerInfer 令牌率和 EG-MLA 内存削减 — 以及生产权衡。
异步 Rust 阻塞上的 Workstation、用于 CPU 绑定工作的 Rayon,以及为什么 Rust 适合现代 API、边缘、代理和 CI/CD — 灵感来自 Alice Ryhl 的 Rayon 指南。
Ring Promoter 是用于人工智能驱动部署的现代 CI/CD 控制平面:共享环、健康门、版本验证、自动回滚和多应用程序升级。
Workstation WSL 代理 (WSLProxy) 是一个完整的 API 网关和 CDN 边缘:实时路由、WAF、缓存、多 POP DNS、MCP — 代理网关和 MCP 网关正在进行中。
KubePilot 帮助 SRE、DevOps 和平台团队从嘈杂的集群信号转向安全修复 - CoPilot、Pilot 和 AutoPilot。在 kubepilot.org 上开源。
Meta Muse Glimmer 通过 Ollama 将始终在线的本地代理带到单个 GPU:30B、Apache 2.0、128K 上下文、愿景和工具 - Workstation 业务指南。