一个Llama 2的WebUI，类似于Stable Diffusion的webui，设计简陋，但功能还可以，不仅有聊天，还有虚拟角色的功能，并且可以运行在Google Colabs上。
一个gradio web UI，用于运行大型语言模型，如LLaMA，llama.cpp，GPT-J，Pythia，OPT和GALACTICA。
特征
- 3 种界面模式：默认、笔记本和聊天
- 多模型后端：tranformers，llama.cpp，AutoGPTQ，GPTQ-for-LLaMa，ExLlama，RWKV，FlexGen
- 下拉菜单可在不同型号之间快速切换
- LoRA： 即时加载和卸载 LoRA， 同时加载多个 LoRA， 训练新的 LoRA
- 聊天模式的精确说明模板，包括羊驼，骆马，开放助手，多莉，考拉，ChatGLM，MOSS，RWKV-Raven，Galactica，StableLM，WizardLM，Baize，Ziya，Chinese-Vicuna，MPT，INCITE，Wizard Mega，KoAlpaca，Vigogne，Bactrian，h2o和OpenBuddy
- 多式联运管道，包括LLaVA和MiniGPT-4
- 通过比特沙字节进行 8 位和 4 位推理
- 变压器型号的 CPU 模式
- 深速ZeRO-3推理
- 扩展
- 自定义聊天字符
- 非常高效的文本流
- 带有LaTeX渲染的降价输出，例如与GALACTICA一起使用
- GPT-4chan 的漂亮 HTML 输出
- API，包括用于 websocket 流式处理的端点
TKTOC跨境导航将时刻关注并搜集TikTok最新风向、实战干货、变现玩法等，欢迎扫码关注公众号，获取更多跨境电商资讯。
