近期看到 Matthew Rocklin 的文章很有感触，他举了锤子和射钉枪的例子。锤子也经常在软件领域形容拿着锤子找钉子，这说的是锤子的通用性，他能钉钉子，也能敲松掉的木头，还能敲僵尸头。从多用途上来看，锤子比射钉枪强10倍。但是射钉枪公司可能会上市，而做锤子的公司不会。我们在做系统的时候，常常
🔥 Xinference v1.2.0 重磅更新 🚀 全新的 vLLM 强化 Xavier 来袭！✨ 支持多个 vLLM 实例间共享 KV Cache，有效减少长上下文推理时间，非常适合多轮对话和 Agent 推理场景。🎯 此外，还带来了对 Cline AI 编辑器 的支持！✍️ 社区版更新指南 🌍 * Pip：pip install 'xinference==1.2.0'
AI是有史以来最卷的赛道。Cursor 大火后，windsurf 很快就把agentic 编辑器概念带火，但非开源属性只能辐射一小撮受众，Cline凭借开源很快又刮起一阵风（Xinference社区迅速聚集了Cline支持的讨论，社区也帮助很快完成支持），现在大家已经在评论cline的fork版本如roo-cline更好用了。完全停不下来的节
🎉 Xinference v1.1.1 发布！QvQ-72B-Preview 视觉推理模型到来，还有 Stable Diffusion 3.5 large 模型，SD 模型支持 GGUF 量化，只需 5G 显存就可以跑 Flux.1🚀。 🌐 社区版 📋 更新指南 * 🏷️ pip：pip install 'xinference==1.1.1’ * 🐳 Docker：拉取最新版本即可，也可以直接在镜
🎉 Xinference v1.1.0 发布！更多 LLM、语音、多模态向量模型✨。企业版支持 supervisor 故障恢复，还有更多如下🚀。 🌐 社区版 📋 更新指南 * 🏷️ pip：pip install 'xinference==1.1.0’ * * 🐳 Docker：拉取最新版本即可，也可以直接在镜像内用 pip 更新。镜像内引擎依赖现在已经升
http://t.cn/A6mha6Mw 看看我们的SD web UI 无服务多租户方案
🚀 Xinference v1.0.0 发布！这是 Xinference 的重要里程碑🎉。从下周开始，Xinference 将改为双周发布周期，下下周发布新版本，与企业版和云上版本隔周交替发布⏰。 🌐 社区版 📋 更新指南 * 🏷️ pip：pip install 'xinference==1.0.0’ * 🐳 Docker：拉取最新版本即可，也可以直接在
🎉 Xinference v0.16.2 发布！新增魔乐社区（openmind_hub)的支持，且正式支持 Python 3.12 🐍。 🌐 社区版 📋 更新指南 * 🏷️ pip：pip install 'xinference==0.16.2’ * 🐳 Docker：拉取最新版本即可，也可以直接在镜像内用 pip 更新 🆕 更新日志 * 新功能 * ✅ 新增支持 Py
🎉 Xinference v0.16.1 发布！社区版新增全新品类：OCR 模型，带来了最近很火的 📸 GOT-OCR2 支持；FLUX.1 现在可以在 Mac 上用 MLX 生图 🍏（Mac 上 pip install “xinference[mlx]” 体验），此外，在 CUDA 平台上现在会默认开启量化，让消费级显卡也能更轻松使用 💪。 🌐 社区版 📋
🎉 Xinference v0.16.0 发布，本次发布会同时带来企业版和云上版本更新。 社区版 📋 更新指南 * 🏷️ pip：pip install 'xinference==0.16.0’ * 🐳 Docker：拉取最新版本即可，也可以直接在镜像内用 pip 更新 🆕 更新日志 * 新功能 * 🏎️ transformers 引擎的 continuous batc
🎉Xinference v0.15.3 发布，本次带来的更新如下： 📚 更新指南 * 📦 pip：pip install 'xinference==0.15.3’ * 🐳 Docker：拉取最新版本即可，也可以直接在镜像内用 pip 更新 📝 更新日志 * 🆕 新增内置支持模型 * embedding模型：jina-embedding-v3 * Rerank 模型：mi
Xinference v0.15.0 🚀 重磅来袭，内部新的重构能让用户能真正自定义 Xinference 非内置模型。qwen2-vl-Instruct 🤖 第一时间支持，使用需要从源码安装 transformers：pip install git+http://t.cn/AinTOaN7 更新指南 📚 * pip：pip install 'xinference==0.15.0' 💻 * Docker：拉取最新版本
🎉 Xinference 0.14.4 🚀 发布，新增了 CogVideoX 5B 🎥 视频模型的支持。 更新指南 * pip：pip install 'xinference==0.14.4' 📦 * Docker：拉取最新版本即可 🐳 更新日志 * 新增内置支持模型 * 视频模型CogVideoX-5b 🎞️ * 新功能 * sd系列图像模型支持padding 🖼️ *
Xinference v0.14.3 发布，让我们看看有哪些更新吧 🤔 * 新增内置支持模型 🤖 * 语音模型：FishSpeech-1.2-SFT 💬 * 多模态模型：cogvlm2-video-llama3-chat，支持视频输入 📹 * 新功能 🎉 * internvl2多模态模型支持lmdeploy推理引擎，支持awq量化 💻 * 支持sd3-medium的
Xinference v0.14.2 发布 🎉 * 🎉 新增内置支持模型 * 🤖 gemma-2-it 2b * 🤖 internlm2.5-chat 1.8b / 20b * 📸 多模态模型：internvl2，vllm支持internvl2，支持了 InternVL 和 InternVL2 的流式请求，以及用量统计 * 🎊 新功能 * 🔍 vllm和sglang支持FP8格式 *
Imagine
🎉 Xinference 0.14.1 发布，全新的文生视频 CogVideoX 支持登场！本周爆火的文生图模型 FLUX.1 系列，支持中文提示词的快手生图，还有 SenseVoice 语音识别，都在本版本得到支持。 - 新增内置支持模型 📦 - flux.1-schnell 和 flux.1-dev 🌟 - llama-3.1-instruct 405B 🦙 - kolors 图
分享视频 http://t.cn/A68mmQ4i
