
自然語言處理底層技術實現及應用培訓
課程將以中文為處理對象,
逐步講解關于中文的自然語言處理技術常用的一些底層技術,
即中文分詞、詞性標注、命名實體識別。
這三項底層技術也是目前能夠商用,且相對成熟的技術。
1 中文分詞方法
2 命名實(shi)體識別
3 條件隨機場模型
4 中文詞性標注
5 隱馬爾科夫模型
6 長短時(shi)記憶網絡(luo)
1
自然語言處理簡介
1.自然語言處理發展歷史
2.自然語言處理底層技術
3.自(zi)然語(yu)言處理(li)應用技(ji)術
2
基于字典的中文分詞方法
1.分詞常用方法
2.正向大匹配法
3.逆向大匹配法
4.雙向大匹配法
1
實現逆向大匹配法
1.中文分詞概念
2.逆向大匹配法
3
基于隱馬爾(er)可(ke)夫(fu)的中文分(fen)詞方法
1.序列標注
2.隱馬爾可夫模型
3.維特比算法
2
實現維特比算法
1.維特比算法
4
基于(yu)條件隨機(ji)場的(de)詞性標注方法
1.詞性標注
2.基于規則的方法
3.基于統計的方法
4.條件隨機場
3
使用條件隨機場工具進行分詞
1.文本預處理
2.sklearncrfsuite使用(yong)
5
基于深度學習的命名實體識別方法
1.命名實體識別
2.循環神經網絡
3.長短時記憶網絡
4.BiLSTMCRF
5.TensorFlow
4
實現基于規則的命名實體識別方法
1.命名實體識別概念
2.基于規則的方法
課程將會以(yi)中文文本為研(yan)究對象(xiang),
逐步講(jiang)解(jie)自(zi)然(ran)語言處理中常用的底(di)層技術,
并動手實(shi)現。課程主要講解自然語言(yan)處理的底(di)層(ceng)技(ji)術,
具體來說是中文分(fen)詞,詞性標注以及命(ming)名實(shi)體識別。
中文分詞:基于字(zi)典的方法 。
中文分詞:基(ji)于隱馬爾可(ke)夫模型(xing)的(de)方法。
詞性標注:基(ji)于條件(jian)隨(sui)機場(chang)的方(fang)法。
命名實體識別:基于深度(du)學習(xi)的方(fang)法。
在中(zhong)文(wen)分(fen)詞實驗中(zhong),主要會詳(xiang)細介紹(shao)以下(xia)幾(ji)種方法(fa):
正向大匹配法。
逆向大匹配法。
雙向大匹配法。
隱馬爾可夫方法。
