bloom-8bit

Tags

• safetensors
• bloom
• arxiv:1910.09700
• text-generation-inference
• endpoints_compatible
• 8-bit
• gptq
• region:us