leoterry

chatglm3-6b-ggml

leoterry/chatglm3-6b-ggml

chatglm3-6b-ggml is a machine learning model from leoterry. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.

- 使用chatglm.cpp这个工具来进行模型量化，它是基于GGML库实现的量化工具，除了可以量化 ChatGLM 系列的 LLM 外，还支持其他比如 BaiChuan、CodeGeeX、InternLM 等 LLM 的量化。 chatglm.cpp 除了提供量化功能外，还提供了多种运行量化模型的方式，包括源码编译运行、Python 代码运行、 Web 服务和 API 服务等，这些运行方式可以让我们在不同的场景下使用量化后的模型…