HanLP是由一系列模型與算法組成的Java工具包，目標是促進天然語言處理在生產環境中的應用。HanLP具有功能完善、性能高效、架構清晰、語料時新、可自定義的特色。html
HanLP能提供如下功能：關鍵詞提取、短語提取、繁體轉簡體、簡體轉繁體、分詞、詞性標註、拼音轉換、自動摘要、命名實體識別（地名、機構名等）、文本推薦等功能，詳細請參見如下連接：http://www.hankcs.com/nlp/hanlp.html java
HanLP下載地址：https://github.com/hankcs/HanLP/releases，HanLP項目主頁：https://github.com/hankcs/HanLPgit
一、HanLP安裝程序員
hanlp是由jar包、properties文件和data數據模型組成，所以，在安裝時，這三種文件都應該有。能夠經過創建java工程便可運行。github
hanlp.properties文件中描述了不一樣詞典的相對路徑以及root根目錄，所以，能夠在此文件中修改其路徑。算法
hanlp-1.3.4.jar包中包含了各類算法及提取方法的api，大部分方法都是靜態的，能夠經過HanLP直接進行調用，所以，使用很是方便。apache
data文件夾中包含了dictionary和model文件夾，dictionary中主要是各類類型的詞典，model主要是分析模型，hanlp api中的算法須要使用model中的數據模型。api
二、HanLP的使用架構
普通java工程目錄以下所示：工具
三、HanLP的具體使用
例如：對excel中的聊天記錄字段進行熱點詞的提取，計算並排序，功能以下所示
package com.run.hanlp.demo;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Comparator;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Map.Entry;
import org.apache.log4j.Logger;
import com.hankcs.hanlp.HanLP;
import com.hankcs.hanlp.seg.common.Term;
import com.hankcs.hanlp.suggest.Suggester;
import com.hankcs.hanlp.summary.TextRankKeyword;
import com.hankcs.hanlp.tokenizer.NLPTokenizer;
import com.hankcs.hanlp.tokenizer.StandardTokenizer;
import com.run.util.ExcelUtil;
public class HanlpTest {
public static final Logger log = Logger.getLogger(HanlpTest.class);
public static void main(String[] args) {
log.info("關鍵詞提取：");
HanlpTest.getWordAndFrequency();
}
/**
* 獲取全部關鍵詞和頻率
*/
public static void getWordAndFrequency() {
// String content =
// "程序員(英文Programmer)是從事程序開發、維護的專業人員。通常將程序員分爲程序設計人員和程序編碼人員，但二者的界限並不很是清楚，特別是在中國。軟件從業人員分爲初級程序員、高級程序員、系統分析員和項目經理四大類。";
List<Map<String, Integer>> content = ExcelUtil.readExcelByField("i:/rundata/excelinput",5000,5);
Map<String, Integer> allKeyWords=new HashMap<>();
for(int i=0;i<content.size();i++){
Map<String, Integer> oneMap=content.get(i);
for(String str:oneMap.keySet()){
int count = oneMap.get(str);
CombinerKeyNum(str,count,allKeyWords);
}
}
List<Map.Entry<String,Integer>> sortedMap=sortMapByValue(allKeyWords);
log.info(sortedMap);
}
/**
*
* @param allKeyWords 須要進行排序的map
* @return 返回排序後的list
*/
public static List<Map.Entry<String,Integer>> sortMapByValue(Map<String,Integer> allKeyWords){
List<Map.Entry<String,Integer>> sortList=new ArrayList<>(allKeyWords.entrySet());
Collections.sort(sortList, new Comparator<Map.Entry<String, Integer>>() {
public int compare(Map.Entry<String, Integer> o1, Map.Entry<String, Integer> o2) {
return (o2.getValue() - o1.getValue());
}
});
return sortList;
}
/**
*
* @param key 關鍵詞變量
* @param value 關鍵詞詞頻變量
* @param allKeyWords 存放關鍵詞和詞頻的map
*/
public static void CombinerKeyNum(String key,int value,Map<String,Integer> allKeyWords){
if(allKeyWords.containsKey(key)){
int count=allKeyWords.get(key);
count+=value;
allKeyWords.put(key, count);
}else{
allKeyWords.put(key, value);
}
}
/**
*
* @param content 須要提取關鍵詞的字符串變量
* @return 返回關鍵詞以及關鍵詞詞頻數的map
*
*/
public static HashMap<String, Integer> getKeyWordMap(String content) {
List<Term> list = StandardTokenizer.SEGMENT.seg(content);
TextRankKeyword textmap = new TextRankKeyword();
Map<String, Float> map = textmap.getTermAndRank(content);
Map<String, Integer> mapCount = new HashMap<>();
for (String str : map.keySet()) {
String keyStr = str;
int count = 0;
for (int i = 0; i < list.size(); i++) {
if (keyStr.equals(list.get(i).word)) {
count++;
}
}
mapCount.put(keyStr, Integer.valueOf(count));
}
// log.info(mapCount);
return (HashMap<String, Integer>) mapCount;
}
}
運行以後，結果以下：
因而可知，能夠看見從excel中提取出來的熱點詞彙及其頻率。
文章來源於計算機之wind的博客