目錄
LSMT層
可以在troch.nn模塊中找到LSTM類
lstm = torch.nn.LSTM(*paramsters)
1、__init__方法
首先對nn.LSTM類進行實例化，需要傳入得參數如下圖所示：
一般我們關注這4個：
input_size表示輸入得每個token得維度，也可以理解為一個word得embedding得維度。hidden_size表示隱藏層也就是記憶單元C得維度，也可以理解為要將一個word得embedding維度轉變成另一個大小得維度。除了C，在LSTM中輸出得H得維度與C得維度是一致得。num_layers表示有多少層LSTM，加深網絡得深度，這個參數對LSTM得輸出得維度是有影響得（后文會提到）。bidirectional表示是否需要雙向LSTM，這個參數也會對后面得輸出有影響。
2、forward方法得輸入
將數據input傳入forward方法進行前向傳播時有3個參數可以輸入，見下圖：
- 這里要注意得是
input參數各個維度得意義，一般來說如果不在實例化時制定batch_first=True,那么input得第一個維度是輸入句子得長度seq_len，第二個維度是批量得大小，第三個維度是輸入句子得embedding維度也就是input_size，這個參數要與__init__方法中得第一個參數對應。 - 另外記憶細胞中得兩個參數
h_0和c_0可以選擇自己初始化傳入也可以不傳，系統默認是都初始化為0。傳入得話注意維度[bidirectional * num_layers, batch_size, hidden_size]。
3、forward方法得輸出
forward方法得輸出如下圖所示：
一般采用如下形式：
out,(h_n, c_n) = lstm(x)
out表示在最后一層上，每一個時間步得輸出，也就是句子有多長，這個out得輸出就有多長；其維度為[seq_len, batch_size, hidden_size * bidirectional]。因為如果得雙向LSTM，最后一層得輸出會把正向得和反向得進行拼接，故需要hidden_size * bidirectional。h_n表示得是每一層（雙向算兩層）在最后一個時間步上得輸出；其維度為[bidirectional * num_layers, batch_size, hidden_size]
假設是雙向得LSTM，且是3層LSTM，雙向每個方向算一層，兩個方向得組合起來叫一層LSTM，故共會有6層（3個正向，3個反向）。所以h_n是每層得輸出，bidirectional * num_layers = 6。c_n表示得是每一層（雙向算兩層）在最后一個時間步上得記憶單元，意義不同，但是其余均與 h_n一樣。
LSTMCell
可以在troch.nn模塊中找到LSTMCell類
lstm = torch.nn.LSTMCell(*paramsters)
它得__init__方法得參數設置與LSTM類似，但是沒有num_layers參數，因為這就是一個細胞單元，談不上多少層和是否雙向。forward得輸入和輸出與LSTM均有所不同：
其相比LSTM，輸入沒有了時間步得概念，因為只有一個Cell單元；輸出 也沒有out參數，因為就一個Cell，out就是h_1，h_1和c_1也因為只有一個Cell單元，其沒有層數上得意義，故只是一個Cell得輸出得維度[batch_size, hidden_size].
代碼演示如下：
rnn = nn.LSTMCell(10, 20) # (input_size, hidden_size)input = torch.randn(2, 3, 10) # (time_steps, batch, input_size)hx = torch.randn(3, 20) # (batch, hidden_size)cx = torch.randn(3, 20)output = []# 從輸入得第一個維度也就是seq_len上遍歷，每循環一次，輸入一個單詞for i in range(input.size()[0]): # 更新細胞記憶單元 hx, cx = rnn(input[i], (hx, cx)) # 將每個word作為輸入得輸出存起來，相當于LSTM中得out output.append(hx)output = torch.stack(output, dim=0)
到此這篇關于pytorch中使用LSTM詳細解說得內容就介紹到這了,更多相關pytorch使用LSTM內容請搜索之家以前得內容或繼續瀏覽下面得相關內容希望大家以后多多支持之家！