【AI达人创造营第二期】基于LSTM的现代诗生成器

本项目利用LSTM模型实现现代诗自动生成，解决个人创作难题。数据集含约2000首爬取的现代情诗，另混合部分古诗补充数据量。采用LSTM模型，其通过逻辑门优化长文本语义理解。项目含训练与使用文件，models文件夹存两种风格模型。加载模型时，输入前缀和开头即可生成诗句，虽部分内容语义模糊，但能生成连贯文本，实现核心功能。

基于LSTM自动生成现代诗

数据集使用

本项目一共使用了两个数据集。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

现代情诗的数据集，是我通过网络爬虫爬取的现代诗，大致有2000首。古诗集数据，考虑到数据集1的仅有0.5M，数据量较少，所以混合了部分古诗数据进行训练。

LSTM模型简介

LSTM是一种非常流行的循环神经网络，相比较于simpleRNN对于较长的句子理解能力较差（因为RNN不加选择地更新ceil state，导致对于前文地信息地丢失），而LSTM通过增加四个逻辑门，有选择地更新ceil state，这使得LSTM对于长文本语义理解上下推断有着更加好地效果。 具体地原理有很多大佬讲过，大家可以看看这份写的相当透彻的Understanding LSTM network。

效果演示

我寄愁心与明月 一棵落落山染来 我沿着一匹回银花的曲子高走短过的那样 我已是那么都在秋天 没有停动地流动一根线儿 一个人在他的身口里 你的手里还在我的身送面指成远 我不成日亮 你不会把彼此装上

登录后复制

我寄愁心与明月。都将别，一回一回，莫问无情何。

登录后复制

无事无人知，无生无与非

登录后复制

模型训练和模型评估

详细的训练流程在参见model_LSTM.ipynb，其中很全面地写了注释和核心思想。

文件组织

main.ipynb可以直接拿过来玩，自动加载训练好的模型model_LSTM.ipynb是训练文件，写了详细的注释，调用它则可以训练自己的模型。【静态图测试】文件夹被废弃了。。。原本打算导出静态图模型但遇到了一点点问题，挖个坑回头解决【models】文件夹存放了不同数量样本训练好的两个模型，可以直接调用【vocab】文件夹存放用于制作词汇表的数据

加载模型进行测试

In [1]

# 导入相关依赖from paddle.io import Datasetimport paddle.fluid as fluidimport numpy as npimport paddleimport paddle.nnfrom paddlenlp.embeddings import TokenEmbeddingfrom paddlenlp.data import JiebaTokenizer,Vocabimport visualdl

登录后复制In [3]

# 定义超参数class Config(object):    # version = 'models/version1-modern/version1.pdparams' # 现代诗风格    version = 'models/version2-ancient/version2.pdparams' # 古体诗风格    maxl = 120    filepath = "vocab/poems_without_title.txt"    filepath2 = "vocab/poems_zh.txt"    embedding_dim = 300    hidden_dim = 512    num_layers = 3    max_gen_len = 150    prefix = "爱你一生一世" # 前置风格，可以调整生成文本的风格    beginning = "陪伴是最长情的告白" # 需要给出诗篇的开头，模型进行续写config = Config()

登录后复制In [4]

# 加载词汇表vocabdic = {'[PAD]':0,'':1,'':2,'[UNK]':3}cnt=4with open (config.filepath) as fp:    for line in fp:        for char in line:            if char not in dic:                dic[char] = cnt                cnt+=1with open (config.filepath2) as fp:    for line in fp:        for char in line:            if char not in dic:                dic[char] = cnt                cnt+=1vocab = Vocab.from_dict(dic,unk_token='[UNK]')

登录后复制In [5]

# 加载模型class Poetry(paddle.nn.Layer):    def __init__(self,vocab_size,embedding_dim,hidden_dim):        super().__init__()        self.embeddings = paddle.nn.Embedding(vocab_size,embedding_dim)        self.lstm = paddle.nn.LSTM(            input_size=embedding_dim,            hidden_size=hidden_dim,            num_layers=config.num_layers,        )        self.linear = paddle.nn.Linear(in_features=hidden_dim,out_features=vocab_size)    def forward(self,input,hidden=None):        batch_size, seq_len = paddle.shape(input)        embeds = self.embeddings(input)        if hidden is None:            output,hidden = self.lstm(embeds)        else:            output,hidden = self.lstm(embeds,hidden)        output = paddle.reshape(output,[seq_len*batch_size,Config.hidden_dim])        output = self.linear(output)        return output,hiddenpoetry = Poetry(len(vocab),config.embedding_dim,config.hidden_dim)poetry.set_state_dict(paddle.load(config.version))

登录后复制In [6]

results = [i for i in config.beginning]start_words_len = len(results)input = (paddle.to_tensor(vocab(""))).reshape([1,1])hidden = Noneif config.prefix:    words = [i for i in config.prefix]    for word in words:        _, hidden = poetry(input, hidden)        input = (paddle.to_tensor(vocab(word))).reshape([1,1])for i in range(config.max_gen_len):    output, hidden = poetry(input, hidden)    if i < start_words_len:        word = results[i]        input = (paddle.to_tensor(vocab(word))).reshape([1,1])    else:        _,top_index = paddle.fluid.layers.topk(output[0],k=1)        top_index = top_index.item()        word = vocab.to_tokens(top_index)        results.append(word)        input = paddle.to_tensor([top_index])        input = paddle.reshape(input,[1,1])    if word == '':        del results[-1]        breakresults = ''.join(results)print(results)

登录后复制