MIT License
⚡ Build your chatbot within minutes on your favorite device; offer SOTA compression techniques fo...
Panda项目是于2023年5月启动的开源海外中文大语言模型项目,致力于大模型时代探索整个技术栈,旨在推动中文自然语言处理领域的创新和合作。
4 bits quantization of LLaMA using GPTQ
Efficient, scalable and enterprise-grade CPU/GPU inference server for 🤗 Hugging Face transformer ...
Tools for simple inference testing using TensorRT, CUDA and OpenVINO CPU/GPU and CPU providers. S...
【大模型】3小时完全从0训练一个仅有26M的小参数GPT,最低仅需2G显卡即可推理训练!