妙笔生花文章生成器使用教程-模型训练

妙笔生花 使用教程 2年前浏览量:230

文章生成器“模型训练”界面分为两个区域,一个是功能选择区域,一个是日志的区域,两个区域都写了可以清楚参数和日志的代码。

妙笔生花文章生成器使用教程-模型训练_https://www.wenangou.cn__第1张

功能选择区域

包含了预处理后文件路径、模型输出路径、参考模型路径、训练的bs、0号卡的bs、训练文章生成长度、训练的最大轮次等六个选择,对应的功能分别是:

预处理后文件路径:这里选择的是刚才处理语料后生成结果的路径。

模型输出路径:模型输出路径为程序没训练结束一次,训练生成的结果模型存储位置。

参考模型路径:妙笔生成文章生成器程序采用了预训练模型算法,通俗的说就是拿一个已经训练好的模型,给你作为参考。这样的算法好处是:

可以明显降低微调阶段的算力要求,这样复杂的大模型也可以先在大厂中完成预训练,完了普通用户也能通过微调用在自己的项目里。

参考模型购买地址:https://www.wenangou.cn/model

训练的bs:BATCH_SIZE的大小影响训练速度和模型优化,可以根据自己的显卡GPU内存来选择,假如你GPU内存不大,该数值最好设置小一点,设置到程序返回内存不足为刚好的数字。

0号卡的bs:原理和上面的一样,这个0号卡的bs设置是针对有多张显卡的用户设置,可以设置参数和上面的一致。

训练文章生成长度:后期需要生成的文章长度字数,例如你要生成500字的文章,这里就设置500。建议设置的参数和语料预处理里面所设置的文章长度一致。

训练的最大轮次:训练可以通俗的理解为,妙笔生花文章生成器程序学习我们所收集的语料的次数,次数一般设置在20次范围,不固定的参数值。可以用最后一个的模型来生成文章看效果,如果感觉所生成的文章效果理想,可以不再训练,如果文章的效果还差点,可以设置训练轮次的参数再高点。