开源地址： https://bitbucket.org/a686d380/bloom-h/src/master/

# Bloom-H

Bloom-H是一个基于开源模型Bloom的中文色情文本生成器，支持生成、训练LoRA模型。

下载的文件中自带了一个`bloomh-base`模型,参数量为为389M

相比于上一个项目，大幅提高了模型大小

## 下载地址

https://mega.nz/file/Z3xV2JAZ#SYUJtseHfloOM5Ypw9DsVGahQh-5IKv0y0xcACVfm50

## 环境要求

Win10以上操作系统，不支持Win7

推荐使用N卡，请确保使用较新的驱动

AMD显卡可以使用DirectML运行，但不支持LoRA和训练，需要安装DirectX 12

由于模型较大，不支持CPU计算

## 使用教程

### 生成文本

打开``start.bat`` 然后在浏览器访问 `http://127.0.0.1:7860`

弹出来的黑色框可以看到后台进展

点击左上方配置 -> 加载 ，加载基础模型

点击左上方文本生成 -> 生成 ， 生成文本

### 关于LoRA

可能由于基座模型参数较大，目前使用LoRA能够些许的改变文章风格，但效果不是很大

### 参数设置

文本生成界面的左侧可以设置参数

`batch`表示生成单批次生成个数,至多为3

`max_new_tokens`表示生成的token个数,可以近似理解为字数

`tempurature`表示温度, 温度<1会让生成变得稳定，>1会让生成变得随机

`topk`表示topk,越小越稳定,越大越随机

`ctx_len`表示给的模型上文长度,对于`bloomh-base`模型不能超过512

配置界面

模型路径指代基座模型的文件夹

使用LoRA和LoRA指代 LoRA模型的路径

DirectML支持AMD，N卡不必勾选

### 训练模型

训练参数

基座模型路径，是基座模型路径

语料文本，是语料文本，编码必须为UTF-8

`block_size`是每次输入给模型的token长度，对于`bloomh-base`模型不能超过512

`lora_r,lora_alpha,lora_dropout` 是LoRA模型相关参数

LoRA输出路径，是LoRA输出路径

`num_epochs` 是训练轮数

`batch_size` 是单次训练的block个数,增加会显著占用显存

`learning_rate` 是学习率，可以不用改

训练至loss达到3.0左右较为理想，如果未达到建议增加训练轮数或增加样本量

### 意见反馈

可以评论区或私信反馈

### 免责声明

本模型仅供科学研究，作者不对模型生成的内容负责，用户应为使用和传播本模型生成的内容负责。

小说相关章节：AI生成小黄文