科技期刊
在線辦公
水利水電行業專用中文分詞方法研究------唐穎復,江新蘭,張偉兵,王志璋,繆 綸
摘要:為改善對當前水利水電行業中大量以自然語言文本形式存在的相關資料挖掘不充分和利用率偏低的現狀,在分析水利水電行業文本資料數據特點的基礎上,構建水利水電行業的基本詞典庫,并對Jieba分詞器進行算法改進
水利水電行業專用中文分詞方法研究------唐穎復,江新蘭,張偉兵,王志璋,繆 綸
摘要:為改善對當前水利水電行業中大量以自然語言文本形式存在的相關資料挖掘不充分和利用率偏低的現狀,在分析水利水電行業文本資料數據特點的基礎上,構建水利水電行業的基本詞典庫,并對Jieba分詞器進行算法改進
分類:2021年第01期(總第160期)
發布: 2021-11-10 19:38:58
唐穎復1,2,江新蘭2,張偉兵2,王志璋2,繆 綸2
(1.清華大學水利工程系,北京 100084;2.中國水利水電科學研究院,北京100038)
摘 要:為改善對當前水利水電行業中大量以自然語言文本形式存在的相關資料挖掘不充分和利用率偏低的現狀,在分析水利水電行業文本資料數據特點的基礎上,構建水利水電行業的基本詞典庫,并對Jieba分詞器進行算法改進,生成一種水利水電行業專用中文新分詞方法,并利用新分詞方法對1988—2007年的全國水利工作會議報告進行分析。分析結果表明:提出的新分詞方法可以準確地進行語句切分,有利于相關行業研究人員從大量現存文本資料中挖掘出更多潛在的高價值信息。
關鍵詞:中文分詞;Jieba分詞;算法改進;水利水電行業;專用;正向匹配法;水利工作會議
A Chinese word segmentation method exclusive to water conservancy and hydropower industry
TANG Yingfu1,2, JIANG Xinlan2, ZHANG Weibing2, WANG Zhizhang2, MIAO Lun2
(1. Department of Hydraulic Engineering, Tsinghua University, Beijing 100084, China;
2. China Institute of Water Resources and Hydropower Research, Beijing 100038, China)
Abstracts: To improve the current situation of insufficient mining and low utilization of valuable materials in the form of natural language text in the water conservancy and hydropower industry, this article analyzes the characteristics of text data in the industry, builds a specific database and improves the algorithm of Jieba word segmentation, which eventually forms a specific word segmentation method for water conservancy and hydropower industry. This method is applied to the reports of the national water conservancy work conference from 1988 to 2007. Analysis results show that this method performs well in sentence and word segmentations, which has great value in uncovering more high-value information hidden in a large number of existing text materials.
Key words: Chinese word segmentation; Jieba word segmentation; algorithm improvement; water conservancy and hydropower industry; exclusive use; forward matching; national water conservancy work conference
-
水利水電行業專用中文分詞方法研究.pdf下載下載量:0

水利部南京水利水文自動化研究所
電話:(025)52898300
地址:南京市雨花臺區鐵心橋街95號
郵箱:nsy@nsy.com.cn
版權所有:水利部南京水利水文自動化研究所 蘇ICP備05086125號 中企動力 南京