🎉 Xinference v0.13.2 正式发布! * 新增内置支持模型 * gemma2-it gguf格式 🧠 * codegeex4 💻 * internlm2.5-chat 和 internlm2.5-chat-1m 🗨️ * 新功能 * 图像模型(stable diffusion)新增inpainting相关的模型和能力 🖼️ * ChatTTS支持stream输出 🎙️ * BUG修复 ​

7月19日 21:06转发|评论

🎉 Xinference v0.13.1 正式发布! - 新增内置支持模型 📦 - glm4-chat gguf格式 📝 - 新功能 🚀 - 注册自定义模型接口可支持指定worker_ip。现在配合launch模型接口的worker_ip参数,可以在分布式场景下仅在一个worker上传模型文件,然后部署使用 🌐 - Launch模型接口支持downloa ​

7月12日 20:49转发|评论

Anyscale 放弃做 endpoints 了,也就是和 fireworks.ai 直接对标的产品。其实我也能理解,endpoints 和 hosted ray platform 是完全不同的产品,公司在资源紧张的情况下面临着二选一,选择 endpoints 意味着之前很多工作,甚至是Ray都可以放弃。这对初始团队是无法接受的事情。而endpoints 面临的竞争 ​

7月1日 23:59转发|评论

Xinference v0.12.3 新增的 UI 改进,可以点星收藏喜欢的模型,更容易找到常用模型;加载模型会保存上一次的选项,再也不用重复点击配置选项来加载同一个模型。 http://t.cn/A6Q95Jb0 ​

6月28日 21:39转发|评论

Xinference v0.12.2 正式发布! 🎉v0.12.2 得益于社区的贡献,稳定性得到了极大提高 🙏 - 新功能 🚀 - Qwen moe系列支持tool call 🔧 - rerank模型支持输出usage,兼容Cohere API 📊 - BUG修复 🐛 - 修复自定义rerank模型的问题 🛠️ - 修复错误数量超过100时chat接口不响应的 ​

6月21日 19:23转发|评论

Xinference v0.12.1 正式发布! 🎉本次更新有50% 的贡献来自社区!Xinf是真正社区驱动的项目。 - 新功能 🚀 - glm-4v支持内置4-bit和8-bit量化 ⚖️ - 支持从csghub下载模型,设置环境变量XINFERENCE_MODEL_SRC="csghub",目前仅支持qwen2-instruct 🌐 - whisper-large-v3 和 ChatTTS 语 ​

6月14日 18:05转发|评论

Xinference v0.12.0 正式发布!🎉 这一周跌宕起伏,大量新开源模型如 Qwen2 和 GLM4 发布,Xinference 均在第一时间支持。同时,我们首次支持了 TTS 模型,目前所有模型分类都得到了支持。具体亮点如下: * 新增内置模型 🆕 * LLM 🧠 * qwen2 * glm4 / glm4-chat-1m / glm- ​

6月7日 18:24转发|评论

Xinference v0.11.3 正式发布!🎉 一起来看看这次更新都有哪些亮点吧 🌟 - **新增内置模型** 🆕 - CogVLM2,大家翘首以盼的视觉模型 👀📸 - Yi-1.5-chat-16k 🗣️ - telechat 📞 - **新功能** 🛠️ - 多模态模型聊天界面支持传入additional_option 💬🖼️ - `xinferen ​

5月31日 17:44转发|评论

Xinference v0.11.2 正式发布!🎉 一起来看看这次更新都有哪些亮点吧 🌟 - **新增内置模型** 🆕 - 多模态模型:Intern-VL-Chat 🖼️💬 - codeqwen1.5 💻 - deepseek / deepseek-coder base模型 🔍📝 - **新功能** 🛠️ - 新增`xinference cal-model-mem`命令,可以查询你需 ​

5月24日 18:06转发|评论

Xinference v0.11.1 正式发布! 🎉 • 新增内置模型:Yi-1.5系列 💡 • 重构LLM lora支持逻辑,现在launch时可以指定多个lora模型,chat时可自由选择其中一个。参考文档:http://t.cn/A6Y1gWY8 🔧 • 兼容最新OpenAI API stream_options选项 🔄 • Bug修复: 修复vllm推理 ​

5月17日 18:30转发|评论

Xinference v0.11.0 正式发布!这个版本新增了5个来自社区的贡献者,贡献者数量来到50! * Break Change!!!launch LLM模型需传入model_engine参数,指定你想运行的推理引擎。当前xinference支持transformers / llama.cpp / vllm / sglang 四种引擎。用法参考:http://t.cn/A6HqCuAp。更多推理引擎 ​

5月13日 15:52转发|评论

来自社区的分享,用 vs code和idea接入xinference。参考: IDEA:http://t.cn/A6TuOGen VSCODE: http://t.cn/A6TuOGem ​

4月24日 20:46转发|评论

Xinference v0.10.3正式发布!这次重点修复了上一个版本带来的一系列问题,并支持了大家翘首以盼的 Llama-3 系列 🚀 * 新增内置模型 * llama-3系列 🦙 * Belle-whisper-large-v3-zh 💬 * BUG修复 * 修复命令行启动模型的若干问题 🐛 * 修复触发自动恢复机制时传入无法识别的 ​

4月24日 11:49转发|评论

Xinference v0.10.2.post1 正式发布!一起来看看这此更新都有哪些亮点吧 🚀 * 新增内置模型支持 * LLM * SeaLLM 🌊 * c4ai-command-r-v01 💻 * codeqwen1.5-chat 💬 * Embedding * m3e ⚡ * Rerank * bge-reranker-v2系列 🔄 * 后端支 ​

4月19日 20:49转发|评论

Xinference v0.10.1 正式发布!我们一直在持续改进用户痛点,努力做成大模型推理第一库。 - 新增内置模型 - Qwen1.5 32B 💡 - Qwen MoE 💡 - 移除对ctransformers的支持,原先跑在ctransformers上的模型可无缝迁移至llama-cpp-python 🔄 - 对现有内置模型新增更多AWQ / GPTQ 格式的版本 ? ​

4月12日 12:23转发|评论

🔭 每周都更的Xinference v0.9.3 登场!本周继续保持3人新贡献者速度增长。我们加入了新模型,优化了使用体验,并修复了几个问题。感谢社区的帮助和支持,让我们一起看看都有哪些新鲜内容: ⭐ 新鲜功能: - 内置模型家族又得新成员,欢迎 Yi-9B 模型! - 图像模型的 UI 界面现已上线文生图和图生 ​

3月15日 16:37转发|评论

🔭 Xinference v0.9.2 更新啦!这次我们带来了重要的模型启动改进和功能增强,感谢社区的贡献和建议,你们的支持是我们前进的动力: ⭐ 主要更新: - 现支持在启动LLM和image模型时指定LoRA模型,详情请参考:http://t.cn/A6Y1gWY8 - 感谢 @bufferoverflow,我们引入Xinference docker集群的compos ​

3月8日 17:35转发|评论

每周一更来了。Xinference 0.9.1 的更新包括: ⭐ 新增功能: - 🐳 dockerhub官方仓库已支持cpu only镜像,欢迎大家试用 - 📥 支持从modelscope下载gemma系列模型 - 🖥️ 当注册gptq和awq量化的自定义模型时,UI界面已支持设置量化方式 - 🐍 Python客户端chat现可支持多个system_prompt传入 ​

3月1日 16:20转发|评论

不敢相信[蜡烛][蜡烛][蜡烛]

直播吧 :RIP🕯️24岁著名马拉松选手、马拉松纪录保持者基普图姆因车祸去世 2023年芝加哥马拉松赛,23岁的肯尼亚名将基普图姆以2小时零35秒的成绩夺冠(平均每公里配速为2分51秒),打破基普乔格保持的世界纪录(2小时01分09秒)。 #基普图姆去世##基普图姆车祸去世# ​​​#基普图姆 马拉松世界纪录保持者#

2月12日 18:05转发|评论

Xinference全系上线Qwen1.5[庆祝]虽然不叫2了,但还是很期待,可以用xinference测试起来了 http://t.cn/A6jsQJXY ​

2月6日 14:30转发|评论