Keras 是一個(gè)用 Python 編寫的高級(jí)神經(jīng)網(wǎng)絡(luò) API，它能夠以 TensorFlow, CNTK, 或者 Theano 作為后端運(yùn)行。Keras 的開發(fā)重點(diǎn)是支持快速的實(shí)驗(yàn)。能夠以最小的時(shí)延把你的想法轉(zhuǎn)換為實(shí)驗(yàn)結(jié)果，是做好研究的關(guān)鍵。

本文以Kaggle上的項(xiàng)目:IMDB影評(píng)情感分析為例,學(xué)習(xí)如何用Keras搭建一個(gè)神經(jīng)網(wǎng)絡(luò),處理實(shí)際問(wèn)題.閱讀本文需要對(duì)神經(jīng)網(wǎng)絡(luò)有基礎(chǔ)的了解.
文章分為兩個(gè)部分:

• Keras中的一些基本概念.Api用法.我會(huì)給出一些簡(jiǎn)單的使用樣例,或是給出相關(guān)知識(shí)鏈接.
• IMDB影評(píng)情感分析實(shí)戰(zhàn).用到的都是第一部分中講到的知識(shí)點(diǎn).

Model

Dense 全連接層

keras.layers.core.Dense(units, activation=None, use_bias=True, k
ernel_initializer='glorot_uniform', bias_initializer='zeros', ke
rnel_regularizer=None, bias_regularizer=None, activity_regulariz
er=None, kernel_constraint=None, bias_constraint=None)

# as first layer in a sequential model: # as first layer in a sequential model: model = Sequential() model.add(Dense(32, input_shape=(16,))) # now the model will take as input arrays of shape (*, 16) # and output arrays of shape (*, 32) # after the first layer, you don't need to specify # the size of the input anymore: model.add(Dense(32))

嵌入層 Embedding

keras.layers.embeddings.Embedding(input_dim, output_dim, embeddi
ngs_initializer='uniform', embeddings_regularizer=None, activity
_regularizer=None, embeddings_constraint=None, mask_zero=False,
input_length=None)

有興趣的看這個(gè)鏈接https://machinelearningmastery.com/use-word-embedding-layers-deep-learning-keras/
其實(shí)就是word to vector。 這一層的作用就是得到用詞向量表示的文本.

• input_dim: 詞表的大小.即不同的詞的總個(gè)數(shù).
• output_dim:想要把詞轉(zhuǎn)換成多少維的向量.
• input_length: 每一句的詞的個(gè)數(shù)

比如如下代表:我們輸入一個(gè)M*50的矩陣,這個(gè)矩陣中不同的詞的個(gè)數(shù)為200,我們想把每個(gè)詞轉(zhuǎn)換為32維向量. 返回的是一個(gè)(M,50,32)的張量.
一個(gè)句子50個(gè)詞,每個(gè)詞是32維向量,共M個(gè)句子. 所以是e.shape=(M,50,32)

e = Embedding(200, 32, input_length=50)

LSTM層.

LSTM是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種特殊情況.http://deeplearning.net/tutorial/lstm.html
簡(jiǎn)單來(lái)說(shuō),我們此前說(shuō)過(guò)的神經(jīng)網(wǎng)絡(luò),包括CNN,都是單向的,沒有考慮序列關(guān)系,但是某個(gè)詞的意義與其上下文是有關(guān)的,比如"我用著小米手機(jī),吃著小米粥",兩個(gè)小米肯定不是一個(gè)意思.在做語(yǔ)義分析的時(shí)候,需要考慮上下文. 循環(huán)神經(jīng)網(wǎng)絡(luò)RNN就是干這個(gè)事情的.或者說(shuō)"這部電影質(zhì)量很高,但是我不喜歡".這個(gè)句子里既有正面評(píng)價(jià),又有負(fù)面評(píng)價(jià),參考上下文的LSTM會(huì)識(shí)別出"但是"后面的才是我們想要重點(diǎn)表達(dá)的.

keras.layers.recurrent.LSTM(units, activation='tanh', recurrent_
activation='hard_sigmoid', use_bias=True, kernel_initializer='gl
orot_uniform', recurrent_initializer='orthogonal', bias_initiali
zer='zeros', unit_forget_bias=True, kernel_regularizer=None, rec
urrent_regularizer=None, bias_regularizer=None, activity_regular
izer=None, kernel_constraint=None, recurrent_constraint=None, bi
as_constraint=None, dropout=0.0, recurrent_dropout=0.0)

池化層

• keras.layers.pooling.GlobalMaxPooling1D() #對(duì)時(shí)間信號(hào)的全局最大池化 https://stackoverflow.com/questions/43728235/what-is-the-difference-between-keras-maxpooling1d-and-globalmaxpooling1d-functi
  • input:形如（ samples， steps， features） 的3D張量
  • output:形如(samples, features)的2D張量
• keras.layers.pooling.MaxPooling1D(pool_size=2, strides=None, pad
  ding='valid')
• keras.layers.pooling.MaxPooling2D(pool_size=(2, 2), strides=None
  , padding='valid', data_format=None)
• keras.layers.pooling.MaxPooling3D(pool_size=(2, 2, 2), strides=N
  one, padding='valid', data_format=None)
• ....

數(shù)據(jù)預(yù)處理

文本預(yù)處理

• keras.preprocessing.text.text_to_word_sequence(text,
  filters=base_filter(), lower=True, split=" ")
• keras.preprocessing.text.one_hot(text, n,
  filters=base_filter(), lower=True, split=" ")
• keras.preprocessing.text.Tokenizer(num_words=None, filters=base_
  filter(),
  lower=True, split=" ")
  Tokenizer是一個(gè)用于向量化文本， 或?qū)⑽谋巨D(zhuǎn)換為序列（ 即單詞在字典中的下標(biāo)構(gòu)
  成的列表， 從1算起） 的類。
  • num_words： None或整數(shù)， 處理的最大單詞數(shù)量。 若被設(shè)置為整數(shù)， 則分詞器
    將被限制為處理數(shù)據(jù)集中最常見的 num_words 個(gè)單詞
  • 不管num_words是幾,fit_on_texts以后詞典都是一樣的,全部的詞都有對(duì)應(yīng)的index.只是在做texts_to_sequences時(shí)所得結(jié)果不同.
  • 會(huì)取最常出現(xiàn)的(num_words - 1)個(gè)詞對(duì)應(yīng)的index來(lái)代表句子.
  • 注意num_words不同時(shí),準(zhǔn)換后X_t的不同. 只取詞典中出現(xiàn)最多的num_words - 1代表句子.如果一個(gè)句子中出現(xiàn)特別生僻的詞,就會(huì)被過(guò)濾掉.比如一個(gè)句子="x y z".y,z不在詞典中最常出現(xiàn)的top num_words-1的話,最后這個(gè)句子的向量形式則為[x_index_in_dic]

t1="i love that girl" t2='i hate u' texts=[t1,t2] tokenizer = Tokenizer(num_words=None) tokenizer.fit_on_texts(texts) #得到詞典 每個(gè)詞對(duì)應(yīng)一個(gè)index. print( tokenizer.word_counts) #OrderedDict([('i', 2), ('love', 1), ('that', 1), ('girl', 1), ('hate', 1), ('u', 1)]) print( tokenizer.word_index) #{'i': 1, 'love': 2, 'that': 3, 'girl': 4, 'hate': 5, 'u': 6} print( tokenizer.word_docs) #{'i': 2, 'love': 1, 'that': 1, 'girl': 1, 'u': 1, 'hate': 1}) print( tokenizer.index_docs) #{1: 2, 2: 1, 3: 1, 4: 1, 6: 1, 5: 1} tokennized_texts = tokenizer.texts_to_sequences(texts) print(tokennized_texts) #[[1, 2, 3, 4], [1, 5, 6]] 每個(gè)詞由其index表示X_t = pad_sequences(tokennized_texts, maxlen=None) #轉(zhuǎn)換為2d array 即矩陣形式. 每個(gè)文本的詞的個(gè)數(shù)均為maxlen. 不存在的詞用0表示. print(X_t)#[[1 2 3 4][0 1 5 6]]

序列預(yù)處理

• keras.preprocessing.sequence.pad_sequences(sequences, maxlen=None
  , dtype='int32',
  padding='pre', truncating='pre', value=0.)
  返回一個(gè)2階張量
• keras.preprocessing.sequence.skipgrams(sequence, vocabulary_size
  ,
  window_size=4, negative_samples=1., shuffle=True,
  categorical=False, sampling_table=None)
• keras.preprocessing.sequence.make_sampling_table(size, sampling_
  factor=1e-5)

---

keras實(shí)戰(zhàn):IMDB影評(píng)情感分析

數(shù)據(jù)集介紹

• labeledTrainData.tsv/imdb_master.csv 影評(píng)數(shù)據(jù)集 已經(jīng)標(biāo)注對(duì)電影是正面/負(fù)面評(píng)價(jià)
• testData.tsv 測(cè)試集 需要預(yù)測(cè)評(píng)論是正面/負(fù)面

主要步驟

• 數(shù)據(jù)讀取
• 數(shù)據(jù)清洗 主要包括去除停詞,去除html tag,去除標(biāo)點(diǎn)符號(hào)
• 模型構(gòu)建
  • 嵌入層:完成詞到向量的轉(zhuǎn)換
  • LSTM
  • 池化層:完成重要特征抽取
  • 全連接層：分類

數(shù)據(jù)加載

import pandas as pd import matplotlib.pyplot as plt import numpy as np df_train = pd.read_csv("./dataset/word2vec-nlp-tutorial/labeledTrainData.tsv", header=0, delimiter="\t", quoting=3) df_train1=pd.read_csv("./dataset/imdb-review-dataset/imdb_master.csv",encoding="latin-1") df_train1=df_train1.drop(["type",'file'],axis=1) df_train1.rename(columns={'label':'sentiment','Unnamed: 0':'id','review':'review'}, inplace=True) df_train1 = df_train1[df_train1.sentiment != 'unsup'] df_train1['sentiment'] = df_train1['sentiment'].map({'pos': 1, 'neg': 0}) new_train=pd.concat([df_train,df_train1])

數(shù)據(jù)清洗

用bs4處理html數(shù)據(jù)

• 過(guò)濾出單詞
• 去除停用詞

import re from bs4 import BeautifulSoup from nltk.corpus import stopwords def review_to_words( raw_review ):review_text = BeautifulSoup(raw_review, 'lxml').get_text() letters_only = re.sub("[^a-zA-Z]", " ", review_text) words = letters_only.lower().split() stops = set(stopwords.words("english")) meaningful_words = [w for w in words if not w in stops] return( " ".join( meaningful_words )) new_train['review']=new_train['review'].apply(review_to_words) df_test["review"]=df_test["review"].apply(review_to_words)

Keras搭建網(wǎng)絡(luò)

文本轉(zhuǎn)換為矩陣
- Tokenizer作用于list(sentence)得到詞典.將詞用詞在詞典中的Index做替換,得到數(shù)字矩陣
- pad_sequences做補(bǔ)0. 保證矩陣每一行數(shù)目相等. 即每個(gè)句子有相同數(shù)量的詞.

list_classes = ["sentiment"] y = new_train[list_classes].values print(y.shape) list_sentences_train = new_train["review"] list_sentences_test = df_test["review"]max_features = 6000 tokenizer = Tokenizer(num_words=max_features) tokenizer.fit_on_texts(list(list_sentences_train)) list_tokenized_train = tokenizer.texts_to_sequences(list_sentences_train) list_tokenized_test = tokenizer.texts_to_sequences(list_sentences_test)print(len(tokenizer.word_index))totalNumWords = [len(one_comment) for one_comment in list_tokenized_train] print(max(totalNumWords),sum(totalNumWords) / len(totalNumWords))maxlen = 400 X_t = pad_sequences(list_tokenized_train, maxlen=maxlen) X_te = pad_sequences(list_tokenized_test, maxlen=maxlen)

模型構(gòu)建

• 詞轉(zhuǎn)向量

inp = Input(shape=(maxlen, )) print(inp.shape) # (?, 400) #每個(gè)句子400個(gè)詞 embed_size = 128 #每個(gè)詞轉(zhuǎn)換成128維的向量 x = Embedding(max_features, embed_size)(inp) print(x.shape) #(?, 400, 128)

• LSTM 60個(gè)神經(jīng)元
• GlobalMaxPool1D 相當(dāng)于抽取出最重要的神經(jīng)元輸出
• DropOut 丟棄部分輸出 引入正則化,防止過(guò)擬合
• Dense 全連接層
• 模型編譯時(shí)指定損失函數(shù),優(yōu)化器,模型效果評(píng)測(cè)標(biāo)準(zhǔn)

x = LSTM(60, return_sequences=True,name='lstm_layer')(x) print(x.shape) x = GlobalMaxPool1D()(x) print(x.shape) x = Dropout(0.1)(x) print(x.shape) x = Dense(50, activation="relu")(x) print(x.shape) x = Dropout(0.1)(x) print(x.shape) x = Dense(1, activation="sigmoid")(x) print(x.shape) model = Model(inputs=inp, outputs=x) model.compile(loss='binary_crossentropy',optimizer='adam',metrics=['accuracy'])

• 模型訓(xùn)練

batch_size = 32 epochs = 2 print(X_t.shape,y.shape) model.fit(X_t,y, batch_size=batch_size, epochs=epochs, validation_split=0.2)

• 使用模型預(yù)測(cè)

prediction = model.predict(X_te) y_pred = (prediction > 0.5)

轉(zhuǎn)載于:https://www.cnblogs.com/sdu20112013/p/10428471.html

總結(jié)

以上是生活随笔為你收集整理的深度学习框架Keras介绍及实战的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。