🎉Xinference v0.15.3 发布，本次带来的更新如下：
 📚 更新指南 
 * 📦 pip：pip install 'xinference==0.15.3’ * 🐳 Docker：拉取最新版本即可，也可以直接在镜像内用 pip 更新 
 📝 更新日志 * 🆕 新增内置支持模型 * embedding模型：jina-embedding-v3 * Rerank 模型：mi ​

9月30日 21:52转发|评论

Xinference v0.15.0 🚀 重磅来袭，内部新的重构能让用户能真正自定义 Xinference 非内置模型。qwen2-vl-Instruct 🤖 第一时间支持，使用需要从源码安装 transformers：pip install git+http://t.cn/AinTOaN7 更新指南 📚 * pip：pip install 'xinference==0.15.0' 💻 * Docker：拉取最新版本 ​

9月6日 18:23转发|评论

🎉 Xinference 0.14.4 🚀 发布，新增了 CogVideoX 5B 🎥 视频模型的支持。 更新指南 * pip：pip install 'xinference==0.14.4' 📦 * Docker：拉取最新版本即可 🐳 更新日志 * 新增内置支持模型 * 视频模型CogVideoX-5b 🎞️ * 新功能 * sd系列图像模型支持padding 🖼️ * ​

8月31日 09:57转发|评论

Xinference v0.14.3 发布，让我们看看有哪些更新吧 🤔 * 新增内置支持模型 🤖 * 语音模型：FishSpeech-1.2-SFT 💬 * 多模态模型：cogvlm2-video-llama3-chat，支持视频输入 📹 * 新功能 🎉 * internvl2多模态模型支持lmdeploy推理引擎，支持awq量化 💻 * 支持sd3-medium的 ​

8月24日 17:09转发|评论

Xinference v0.14.2 发布 🎉 * 🎉 新增内置支持模型 * 🤖 gemma-2-it 2b * 🤖 internlm2.5-chat 1.8b / 20b * 📸 多模态模型：internvl2，vllm支持internvl2，支持了 InternVL 和 InternVL2 的流式请求，以及用量统计 * 🎊 新功能 * 🔍 vllm和sglang支持FP8格式 * ​

8月16日 19:26转发|评论

Imagine

8月11日 19:42转发|评论

🎉 Xinference 0.14.1 发布，全新的文生视频 CogVideoX 支持登场！本周爆火的文生图模型 FLUX.1 系列，支持中文提示词的快手生图，还有 SenseVoice 语音识别，都在本版本得到支持。 - 新增内置支持模型 📦 - flux.1-schnell 和 flux.1-dev 🌟 - llama-3.1-instruct 405B 🦙 - kolors 图 ​

8月9日 19:32转发|评论

分享视频 http://t.cn/A68mmQ4i ​

8月9日 19:32转发|评论

flux.1-dev 这模型确实带劲。 ​

8月7日 00:27转发|评论

Xinference 达到 4k stars，我们在努力让大模型和整个生态的部署变得简单。回首过去一年，整个AI世界变化剧烈，很高兴能成为其中一员。 ​

8月7日 00:26转发|评论

🎉 Xinference 0.14.0发布，基于helm 的 k8s 部署方式上线，模型加载现在可以指定 model path。 - 新增内置支持模型 📦 - embedding模型 gte-Qwen2-7B-instruct 🧠 - 新功能 🚀 - 官方支持基于helm的K8s集群安装方式，具体参考文档：http://t.cn/A68pdofk 📘 - embedding模型支持 ​

8月2日 19:09转发|评论

🎉 Xinference v0.13.3 正式发布！本周有大量 SOTA 的 LLM 模型发布，Xinference 第一时间跟进！ - 新增内置支持模型 📦 - llama-3.1, llama-3.1-instruct 📚 - Mistral-nemo-instruct, mistral-large-instruct 📝 - CosyVoice 语音模型 🎤 - 更多 MLX 推理引擎支持模型：llama-3-i ​

7月26日 19:11转发|评论

🎉 Xinference v0.13.2 正式发布！ * 新增内置支持模型 * gemma2-it gguf格式 🧠 * codegeex4 💻 * internlm2.5-chat 和 internlm2.5-chat-1m 🗨️ * 新功能 * 图像模型（stable diffusion）新增inpainting相关的模型和能力 🖼️ * ChatTTS支持stream输出 🎙️ * BUG修复 ​

7月19日 21:06转发|评论

🎉 Xinference v0.13.1 正式发布！ - 新增内置支持模型 📦 - glm4-chat gguf格式 📝 - 新功能 🚀 - 注册自定义模型接口可支持指定worker_ip。现在配合launch模型接口的worker_ip参数，可以在分布式场景下仅在一个worker上传模型文件，然后部署使用 🌐 - Launch模型接口支持downloa ​

7月12日 20:49转发|评论

Anyscale 放弃做 endpoints 了，也就是和 fireworks.ai 直接对标的产品。其实我也能理解，endpoints 和 hosted ray platform 是完全不同的产品，公司在资源紧张的情况下面临着二选一，选择 endpoints 意味着之前很多工作，甚至是Ray都可以放弃。这对初始团队是无法接受的事情。而endpoints 面临的竞争 ​

7月1日 23:59转发|评论

Xinference v0.12.3 新增的 UI 改进，可以点星收藏喜欢的模型，更容易找到常用模型；加载模型会保存上一次的选项，再也不用重复点击配置选项来加载同一个模型。 http://t.cn/A6Q95Jb0 ​

6月28日 21:39转发|评论

Xinference v0.12.2 正式发布！ 🎉v0.12.2 得益于社区的贡献，稳定性得到了极大提高 🙏 - 新功能 🚀 - Qwen moe系列支持tool call 🔧 - rerank模型支持输出usage，兼容Cohere API 📊 - BUG修复 🐛 - 修复自定义rerank模型的问题 🛠️ - 修复错误数量超过100时chat接口不响应的 ​

6月21日 19:23转发|评论

Xinference v0.12.1 正式发布！ 🎉本次更新有50% 的贡献来自社区！Xinf是真正社区驱动的项目。 - 新功能 🚀 - glm-4v支持内置4-bit和8-bit量化 ⚖️ - 支持从csghub下载模型，设置环境变量XINFERENCE_MODEL_SRC="csghub"，目前仅支持qwen2-instruct 🌐 - whisper-large-v3 和 ChatTTS 语 ​

6月14日 18:05转发|评论

Xinference v0.12.0 正式发布！🎉 这一周跌宕起伏，大量新开源模型如 Qwen2 和 GLM4 发布，Xinference 均在第一时间支持。同时，我们首次支持了 TTS 模型，目前所有模型分类都得到了支持。具体亮点如下： * 新增内置模型 🆕 * LLM 🧠 * qwen2 * glm4 / glm4-chat-1m / glm- ​

6月7日 18:24转发|评论

Xinference v0.11.3 正式发布！🎉 一起来看看这次更新都有哪些亮点吧 🌟 - **新增内置模型** 🆕 - CogVLM2，大家翘首以盼的视觉模型 👀📸 - Yi-1.5-chat-16k 🗣️ - telechat 📞 - **新功能** 🛠️ - 多模态模型聊天界面支持传入additional_option 💬🖼️ - `xinferen ​

5月31日 17:44转发|评论