Xinference v0.10.1 正式发布!我们一直在持续改进用户痛点,努力做成大模型推理第一库。 - 新增内置模型 - Qwen1.5 32B 💡 - Qwen MoE 💡 - 移除对ctransformers的支持,原先跑在ctransformers上的模型可无缝迁移至llama-cpp-python 🔄 - 对现有内置模型新增更多AWQ / GPTQ 格式的版本 ? ​

4月12日 12:23转发|评论

🔭 每周都更的Xinference v0.9.3 登场!本周继续保持3人新贡献者速度增长。我们加入了新模型,优化了使用体验,并修复了几个问题。感谢社区的帮助和支持,让我们一起看看都有哪些新鲜内容: ⭐ 新鲜功能: - 内置模型家族又得新成员,欢迎 Yi-9B 模型! - 图像模型的 UI 界面现已上线文生图和图生 ​

3月15日 16:37转发|评论

🔭 Xinference v0.9.2 更新啦!这次我们带来了重要的模型启动改进和功能增强,感谢社区的贡献和建议,你们的支持是我们前进的动力: ⭐ 主要更新: - 现支持在启动LLM和image模型时指定LoRA模型,详情请参考:http://t.cn/A6Y1gWY8 - 感谢 @bufferoverflow,我们引入Xinference docker集群的compos ​

3月8日 17:35转发|评论

每周一更来了。Xinference 0.9.1 的更新包括: ⭐ 新增功能: - 🐳 dockerhub官方仓库已支持cpu only镜像,欢迎大家试用 - 📥 支持从modelscope下载gemma系列模型 - 🖥️ 当注册gptq和awq量化的自定义模型时,UI界面已支持设置量化方式 - 🐍 Python客户端chat现可支持多个system_prompt传入 ​

3月1日 16:20转发|评论

不敢相信[蜡烛][蜡烛][蜡烛]

直播吧 :RIP🕯️24岁著名马拉松选手、马拉松纪录保持者基普图姆因车祸去世 2023年芝加哥马拉松赛,23岁的肯尼亚名将基普图姆以2小时零35秒的成绩夺冠(平均每公里配速为2分51秒),打破基普乔格保持的世界纪录(2小时01分09秒)。 #基普图姆去世##基普图姆车祸去世# ​​​#基普图姆 马拉松世界纪录保持者#

2月12日 18:05转发|评论

Xinference全系上线Qwen1.5[庆祝]虽然不叫2了,但还是很期待,可以用xinference测试起来了 http://t.cn/A6jsQJXY ​

2月6日 14:30转发|评论

Dify 上的模型供应商列表。xinference 唯一支持全部功能,包括LLM、视觉模型、函数调用、向量、rerank。 ​

2月4日 13:35转发|评论

📝Xinference v0.8.3 正式发布!本次更新我们引入了各种exciting的新功能,让我们一起看看吧! ⭐模型扩展: - 新增whisper.small和Belle的中文增强微调whisper模型🎧 - 更新了jina-embeddings-v2-base-zh、bge-m3、bce-embedding-base_v1以及bce-reranker-base_v1聚类和rerank模型🌐 - Yi-VL 6 ​

2月2日 20:10转发|评论

#bilibili# fly-iot的视频http://t.cn/A6jlc6SE 看看我们用户怎么用xinference 来做函数调用的(该视频作者在群里表示居然是国人开发,且找到组织了[doge]) ​

1月30日 22:02转发|评论

转发微博

zx-dennis :手把手教你高效部署并监控你的 LLM 应用 http://t.cn/A6jMg47Q #Greptime##Xinference# 联合出品。 ​

1月29日 23:33转发|评论

Xinference v0.8.2:我们在这次版本更新中首次引入了大家期待已久的Audio模型,并且新增了猎户星空(Orion)系列模型! ⭐ 模型扩展: - 首次引入Audio模型——Whisper。现在你可以轻松转换语音为文本(ASR)了!使用示例: - 猎户星空(Orion)系列模型已经加入我们的模型大家庭 ⭐ 功能优化: - 我 ​

1月26日 19:55转发|评论

每周一更的 xinference 来了,看到用户翘首以盼还是蛮开心的,更新内容👇 🔭Xinference v0.8.1 进行了一次全面提升,不做碎片化的改进,让我们一起看: ⭐ 功能加强: - 模型可观测性体验提升,加入监控指标:Throughput / Time to first token / Token 数统计 / RESTful 请求 - internlm2-chat ​

1月19日 19:38转发|评论

http://t.cn/A6jzqOHi 用户说了:“既然要做底座 就要跟其他常见框架做好适配” 。这是一篇 fastgpt 和 xinference 的教程。 ​

1月11日 13:03转发|评论

程序员的浪漫 - Python 3.13 要引入 JIT,老哥的 PR 描述里还写了首诗,绝了。见:http://t.cn/A6lefuAI 'Twas the night before Christmas, when all through the code Not a core dev was merging, not even Guido; 让我来翻译下 这是圣诞前夜,代码世界一片静默 没有核心开发合并,这也包括圭多 ​

1月5日 13:50转发|评论

github.com/python/cpython/pull/113465 Python JIT 的 PR,活久见,Python 3.13 要引入 JIT 了。这老哥在 PR 的描述里写了首诗 ​

1月5日 13:39转发|评论

Xorbits Data 被 ICDE 2024 接受的论文已经放到了 arXiv 上: http://t.cn/A6ldOy37 ​

1月4日 12:13转发|评论

Xorbits data 的论文被 ICDE 2024 接受了,感谢鲁老师的主笔贡献。 ​

2023-12-24 12:16转发|评论

Xoscar 作为我们底层的大杀器,我们一直没有公开,主要作为 Xorbits inference 和 data 的底座存在,今天有社区的同学来贡献生成器的功能,方便 actor 之间通过生成器来传递数据,这对于LLM流式传输数据非常有帮助。很欣慰社区越来越强大了。 ​

2023-12-23 19:57转发|评论

🚀 Xinference v0.7.3,本次更新加入了最近很火的几个LLM,还有大量改进: 1️⃣ 模型扩展:新增 Mixtral-8x7B-v0.1, deepseek, Mistral v0.2, OpenHermes 模型支持 2️⃣ 兼容性更新:支持 OpenAI API 兼容的 tool message 3️⃣ 模型优化:新增支持 qwen 系列模型 gguf 版本 4️⃣ 性能改进: ​

2023-12-22 17:49转发|评论

Xinference 内置了函数调用,agent必备: http://t.cn/A6l9w48X ​

2023-12-22 16:44转发|评论