Elasticsearch对外分词服务实践与接入方案

1、问题引出

在实际项目开发与业务应用场景中，经常会遇到统计一句话、一段文本或一篇文章词频的需求，
而词频统计的前提，首先就是要做好中文分词。
常见的中文分词方案包括：

1、IK分词——https://github.com/medcl/elasticsearch-analysis-ik
2、结巴分词——https://github.com/huaban/elasticsearch-analysis-jieba
3、ANSJ分词——https://github.com/NLPchina/elasticsearch-analysis-ansj
在真实开发过程中，完全可以基于这些中文分词工具再做一层封装，将其整理为统一接口或独立的分词服务来调用。
不过，换一个角度思考，这件事情未必一定要额外增加一层服务：是否可以直接借助Elasticsearch分词插件，把分词能力直接对外输出，作为中文分词服务使用？

2、可行性分析

1、 Elasticsearch处理中文内容时，倒排索引建立的前提就是先完成中文分词。
而在分词能力上，我们最常用的方案之一就是IK分词插件。

2、 在正常的Elasticsearch部署与系统设计阶段，通常都会提前确定分词器类型。
综合来看，借助Elasticsearch实现中文分词服务是完全可行的。

3、Elasticsearch中的DSL实现

GET test_index/_analyze{"analyzer":"ik_smart","text":"9年后，我还是没有跑出去 | 震后余生"}

返回结果如下：

{"tokens": [{"token": "9","start_offset": 0,"end_offset": 1,"type": "ARABIC","position": 0},{"token": "年后","start_offset": 1,"end_offset": 3,"type": "CN_WORD","position": 1},{"token": "我","start_offset": 4,"end_offset": 5,"type": "CN_WORD","position": 2},{"token": "还是","start_offset": 5,"end_offset": 7,"type": "CN_WORD","position": 3},{"token": "没有","start_offset": 7,"end_offset": 9,"type": "CN_WORD","position": 4},{"token": "跑出去","start_offset": 9,"end_offset": 12,"type": "CN_WORD","position": 5},{"token": "震后","start_offset": 15,"end_offset": 17,"type": "CN_WORD","position": 6},{"token": "余生","start_offset": 17,"end_offset": 19,"type": "CN_WORD","position": 7}]}

4、Elasticsearch Ja va接口实现

下面给出基于Jest5.3.3的接口实现示例。

/**@brief:获取分词结果接口*@param:待分词的文章/字符串*@return:不重复分词结果集（可根据实际业务场景二次开发）*@date:20180704*/public static String IK_TYPE = "ik_smart";public static Set getIkAnalyzeSearchTerms(String searchContent) {// 调用 IK 分词分词JestClient client = JestHelper.getClient();Analyze ikAnalyze = new Analyze.Builder().index(TEST_INDEX).analyzer(IK_TYPE).text(searchContent).build();JestResult result = null;Set keySet = new HashSet();try {result = client.execute(ikAnalyze);JsonArray jsonArray = result.getJsonObject().getAsJsonArray("tokens");int arraySize = jsonArray.size();for (int i = 0; i < arraySize;   i) {JsonElement curKeyword = jsonArray.get(i).getAsJsonObject().get("token");//Logger.info("rst = "   curKeyword.getAsString());keySet.add(curKeyword.getAsString());}} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}return keySet;}

有了ja va接口之后，继续对外封装Restful API就会变得更加直接，也更便于在业务系统中统一调用Elasticsearch分词能力。

5、小结

充分挖掘Elasticsearch自身的分词特性，尽可能简化系统架构、提升开发效率，并优化实际业务场景，才是更高效的实践方式！