dev-quant

Tags

• safetensors
• opt
• arxiv:1910.09700
• text-generation-inference
• endpoints_compatible
• 8-bit
• gptq
• region:us