NLPIR怎么对sql server数据库数据分词

网上有关“NLPIR怎么对sql server数据库数据分词”话题很是火热 ，小编也是针对NLPIR怎么对sql server数据库数据分词寻找了一些与之相关的一些信息进行分析
，如果能碰巧解决你现在面临的问题，希望能够帮助到您 。

1、快速从NLPIR-ICTCLAS2014的下载包中获得我们需要的东西

首先来看一下整个文件夹的结构

Data文件夹中 ，含有分词需要用到的字典，Configure.xml里面有相关的描述信息；doc里面是使用帮助(介绍了基本需要使用到的函数接口)；include 、lib自然是我们主要用到的；sample是示例代码；test里面有一个exe示例；授权自然是License
，应该是通过某种形式来限制我们的使用的，目前暂时还不清楚 ，如果到时候被限制
，还需要进行调试
。

2
、从下载包中抽出我们需要的，并新建一个例子

从上面来看 ，我们需要用到的主要有三个文件夹Data、include 、lib(我是打算做的32位程序
，所以只需要用里面的

lib\win32下的dll和lib)

这时，工程目录就变成这样的(当然NLPIR.dll需要和exe放在一块)：

第一个例子 ，比较简单
，就简单使用几个常用的函数：

[cpp] view plaincopyprint?

// test_nlpir.cpp : 定义控制台应用程序的入口点。

//

#include "stdafx.h"

#include "iostream"

#include "string"

using namespace std;

#include "NLPIR.h"

#pragma comment(lib, "NLPIR.lib")

int _tmain(int argc, _TCHAR* argv[])

{

if(!NLPIR_Init())

{

printf("Init fails\n");

return -1;

}

const char *participle_result;

const char *sentence = "[整租出租]宣武门西大街4号楼二居整租[整套出租]媒体村天居园大两居[整套出租]媒体村天居园大两居";

cout << "===============NLPIR_ParagraphProcess==================" << endl;

participle_result = NLPIR_ParagraphProcess(sentence,1);

cout << participle_result << endl;

cout << "=================================" << endl;

cout << "==============NLPIR_GetFileNewWords===================" << endl;

const char * get_file_new_words = NLPIR_GetFileNewWords("test.txt");

cout << get_file_new_words << endl;

cout << "=================================" << endl;

cout << "===============NLPIR_GetKeyWords==================" << endl;

const char * get_key_words = NLPIR_GetKeyWords(sentence);

cout << get_key_words << endl;

cout << "=================================" << endl;

cout << "===============NLPIR_GetFileKeyWords==================" << endl;

const char * get_file_key_words = NLPIR_GetFileKeyWords("test.txt");

cout << get_file_key_words << endl;

cout << "=================================" << endl;

cout << "===============NLPIR_GetNewWords==================" << endl;

const char * get_new_words = NLPIR_GetNewWords(sentence);

cout << get_new_words << endl;

cout << "=================================" << endl;

NLPIR_Exit();

return 0;

}

函数可以按照字面上的意思来理解

这是输出的结果：

但明显是看到，上面的分词有些小问题 ，如果我们在给聚类算法喂数据的时候
，这样的分词，会出现一定的问题

3、解决上面的问题

我们有两种方法来处理这个问题

a
、这也许是最简单、也最方便的方法

当然 ，他除了一些繁琐之外(如果你有了一些需要的数据词条 、词典就我所谓了)，我们可以新建一个词典文件(比如我这个测试用例中使用user_dic.txt
，他里面包含我们需要具体分开的词组)：

那么来看下面是如何具体使用字典的：

[cpp] view plaincopyprint?

// test_nlpir.cpp : 定义控制台应用程序的入口点 。

//

#include "stdafx.h"

#include "iostream"

#include "string"

using namespace std;

#include "NLPIR.h"

#pragma comment(lib, "NLPIR.lib")

int _tmain(int argc, _TCHAR* argv[])

{

if(!NLPIR_Init())

{

printf("Init fails\n");

return -1;

}

const char *participle_result;

unsigned int add_dic_items = NLPIR_ImportUserDict("user_dic.txt");//Import user dictionary

printf("%d user-defined lexical entries added!\n", add_dic_items);

const char *sentence = "[整租出租]宣武门西大街4号楼二居整租[整套出租]媒体村天居园大两居[整套出租]媒体村天居园大两居";

cout << "===============NLPIR_ParagraphProcess==================" << endl;

participle_result = NLPIR_ParagraphProcess(sentence,1);

cout << participle_result << endl;

cout << "=================================" << endl;

cout << "==============NLPIR_GetFileNewWords===================" << endl;

const char * get_file_new_words = NLPIR_GetFileNewWords("test.txt");

cout << get_file_new_words << endl;

cout << "=================================" << endl;

cout << "===============NLPIR_GetKeyWords==================" << endl;

const char * get_key_words = NLPIR_GetKeyWords(sentence);

cout << get_key_words << endl;

cout << "=================================" << endl;

cout << "===============NLPIR_GetFileKeyWords==================" << endl;

const char * get_file_key_words = NLPIR_GetFileKeyWords("test.txt");

cout << get_file_key_words << endl;

cout << "=================================" << endl;

cout << "===============NLPIR_GetNewWords==================" << endl;

const char * get_new_words = NLPIR_GetNewWords(sentence);

cout << get_new_words << endl;

cout << "=================================" << endl;

NLPIR_Exit();

return 0;

}

这是使用字典之后的分词结果：

可以看到，我们想要切分的词组都已经出来了 ，也不再有任何新词出现了

b
、通过多个样本(也就是多条数据)来进行分词
，这样我们需要用到的词的频率便会增长(有的词只出现1、2次并不会被识别出来)，这样在GetNewWords中 ，便能够得到一些我们想法的数据
，得到这些数据之后，可以写到文本中 ，然后再写到用户字典中

这里只演示第一步
，看看是如何通过增加多条数据来扩大GetNewWords的结果的。

其实很简单，只需要把第一个例子中的测试字符串修改成如下(同样的test.txt对应的字符串也跟着修改)：

[plain] view plaincopyprint?

const char *sentence = "[整租出租]宣武门西大街4号楼二居整租\

[整套出租]媒体村天居园大两居\

房主出租万柳中路康桥水郡一居室\

个人出租 上地桥东清上园小区开间58平\

3个月转租 中关村保福寺桥南 两居中的主卧\

整套长期出租海淀安宁佳园安宁庄一居整租（房东直租）\

[单间出租]造甲街南里20号院二居大间\

[个人诚心出租]世纪金源附近 ，远大园四区11号楼三居次卧\

房主1居直租6号线地铁十里堡站炫特嘉园1居（限1人女）\

[单间出租]10号线西土城牡丹园北影黄亭子小区二居之一\

[整套出租]西二旗智学苑三居整套\

[房主整套出租]清河地铁8号线西小口站精装三居整套\

[单间出租]清华校内单间 \

[北京大学西南门海淀桥南大河庄苑精装修一居室整套出租出租]苏\

[求助]求租上地东里/西里/佳园/农大南路2号院 干净舒适带电梯两\

[求助]转租 西单/金融街/二龙路两居室\

[整套出租]财经大学附近皂君庙一居整套\

北沙滩科学院南里50米一居简装3400元转租
，需要的站内索取转租\

招合租 中关村知春里海淀黄庄地铁站 人大附中对面 正规三居\

个人出租回龙观地铁附近两居中的主卧和次卧，也可以整租\

个人出租\

[整套出租]朝阳区南沙滩小区一居整套\

（个人转租）新龙城二期14平米正规次卧 1000元\

个人出租：温泉镇尚峰尚水小区精装半地下二居\

昌平沙河高教园一区小两居2450家电全齐全新\

个人求租,石景山八角附近二居室\

个人出租保利西山林语90平二居室\

2014-7-30存量房网上签约\

明天决定先涨10%的房租 ，为房产税做准备，得未雨绸缪啊\

今晚新闻调查
，心全凉了：转基因米实际已经扩散(12)\

全款求购万年花城两居室(19)\

问一个初级问题：校友卡大家都什么额度？我5k(15)\

再问一个小白问题(8)\

网友评怕老婆城市排行榜：成都第二上海居首(14)\

清华大学东 八家嘉苑 61平米 全南向正规一居 看图 240万(1)\

110平米新房求靠谱装修团队 、设计
、报价\

五道口学区房 满五年唯一两居 急售260万\

父母随迁落户 能否申请政策房\

房子南面离马路60米，西面紧挨着小学和中学 ，19层
，会吵吗\

学区房在涨吗\

好几个中介打电话说房价要开始上涨了\

整套出租6号线黄渠站苹果派小区77平2居\

个人出租]海淀区五道口华联南暂安处 朝北主卧合租 无中介费近地\

房屋整租芍药居北里2居室房主首次出租\

[出租] 中关村北大西门单间\

[求助]求租 上地 当代城市家园或怡美家园两居或者三居 一家人住\

[整套出租]五道口东升园一室一厅南北通透全明实木家具地板家电";

这些数据，也是通过web页面得到的

现在来看看结果

一些常见的词汇也能通过GetNewWords反应出来了

保险小编帮您解答 ，更多疑问可在线答疑
。

北京房票。

大家都知道北京作为全国第一个严格实行5年限购的城市
，北京的住宅不是你想买就，所以说在北京买住宅的头一个门槛就是北京购房资格 。

作为获取北京购房资格方式一般来说分几种类型：第一种类型就是最简单的 ，你虽然是外地人但是你搞定北京户口了
，ok，那恭喜你捡到宝了 ，北京户口自带种族天赋光环
，单身1个房票，做成已婚状态2个房票 ，也就是说你可以买两个北京住宅
。

第二种，就是我们普通外地人最依赖的
，俗称为社保或者个税满五年，假如你社保或者个税在北京交够五年的话 ，那你不管单身还是已婚能有一个房票。这里面最关键的就是社保需要的是五年连续一个月不差
，但是个税只需要你每年交哪怕一次就够了 。而且假如你不是在北京工作有单位帮你交社保的话，你自己来交社保每年的社保成本大概在2万左右 ，但是个税缴纳成本也就几百块
。外地同学需要养房票的看懂了吧
，哪怕你没工作，哪怕你在上大学 ，赶快上淘宝交个税吧
，一年也就几百块钱，五年一到就白送你一个北京房票。

第三种 ，就是你现在有钱了
，但是资格不现成，社保年限也没够 ，但是你读过大学有本科学历，那怎么办？很简单
，去办工作居住证吧，费用相对于北京房价不高 ，也就一个平米的价格
，8个月时间下本，等同于北京户口的 。你到第5个月的时候就可以去买了 ，然后去找业主要3个月的购房周期签合同
，提前锁定房价
。所以说呀，读书很重要现在看出来了吧 ，那些所有跟你说读书不重要的那些人其实都是在坑你
，只要你大学毕业国家就给你发福利了，不管你在全中国大江南北哪个角落 ，你天生距离在伟大首都北京买房只有8个月周期！

2.

一般来说咱们外地人来北京买房
，特别是像你我这样的来自外地三线城市屌丝，在北京一套房没有的情况下 ，买房是比较辛苦。不过每个人都会有每个人自己的优势，即使你钱不多家庭资产不够大
，但是你来到了大北京经过你的努力能拿到一份高收入的工资的话，那么这就是你的优势 。

绝大多数外地人在北京工作图的无非也就是这个 ，在北京的工资收入要远远高于二三线城市
。我在03年北京毕业参加工作当码农
，工资就差不多到了1万，那个时候我妈在湖北的三线城市一个月收入也就700。对于我们这些不依靠家庭的人来说 ，起步肯定是需要存钱
，按现在北京我所在的互联网行业为例，3年以上普通码农收入能到15k到20k水平的还是很多 ，找个媳妇两口子辛苦点3年攒个一百万
，又能搞定房票，和首套房贷款资格 ，哪怕到时候你的首付差一点
，按3万到4万左右的家庭月收入，你去银行做一个50万左右的信用贷款 ，无非也就是多了个几千块钱月供，完全不影响你的贷款 。那你一旦解决了首付之后你现在在北京就有了机会搞定第一套上车房。

所谓的上车房就是先买个总价便宜的开间
，或者一居，选择区域就是离你工作单位不远 ，或者能够通过地铁的轨道交通来解决你上班和居住的问题
。这个上车房目前来看大概就在三百万左右
，离你近的区域的满五唯一的二手住宅，这种上车房你搞定了一百万左右的首付只需要贷款两百万左右就能买下来 ，按国家对首套房首套贷款购买人群提供的福利你可以85折30年贷款
，这是国家对我们年轻人发的最大的一笔福利，捡不捡就看智商了。假如你在北面工作你可以去看看看清河 ，西二旗
，回龙观等13号线沿线的区域，假如你在南面工作你可以看天宫院 ，房山线地铁站周边
，假如你在东面工作，你可以去看八通线的地铁站周边 ，在这些区域去选择锁定适合你的总价达到你购买要求的房源 。

3.

对于换房的外地人来说，你最需要明白的一点
，就是你不穷了，你手上的这套北京住宅就是你最好的资产 ，也是对你几年前正确眼光的最大回报
。

到了2017年
，北京在中国已经是最先进入以存量二手房交易的一个市场，而且北京市场在2010年左右进入外地人购房5年限购 ，这个限购政策头三年效果最大的
，但是把所有的投资客和外地客手上的房源都挤出来给本地刚需客之后，这个限购就翻过来变成了护身符 ，让这些接盘客不敢卖了
，这是一个很少有净货量的以及新房源市场，一个主流成交房价由刚需来支撑运作的干净市场 ，这个市场全中国独一无二。

而对于需要换房你来说你最最需要明白的就是
，北京房价的涨跌其实和你无关，别关心那些涨与跌 ，你只需要了解这个市场是怎么在自行运作，至于后面的房价能涨到多少或者能有多大的下跌空间让市场自行来判断
，只要你不傻你就不会去赌一个所谓低点 。

从刚需上车房首购族选300万左右的房子开始，当他开始买的时候对应200万左右的贷款
。卖出的房业主拿取到了前期的300万左右的资金 ，同样可能还是加上一个200万到300万的贷款额度
，那么他应该会选500万到600万左右的房子，两居换三居的人大概可以支撑800万到1000万左右的房产 ，以此类推……北京现在的市区好小区的三居户型已经稳稳站到1200到1500万
，这个模型按现在情况来说在后续的5年左右的时间内，足够把北京房价由今年一月份的6万均价推向10万均价 ，这跟中国所有其他城市都不一样。这是一个没有炒房者
，一个完全依靠本地人口以自住需求为主推动的市场 。明白了这些，那就按你现在的资产规模加上你最多能够承受的贷款去置换一个下一阶段的标的物 ，通过房贷去尽量放大的资产规模
，这就是你唯一需要去做的事情
。你需要做的尽快操作，你最大的敌人不是房价下跌或者上涨 ，而是时间成本。

4.

对于外地土豪来说，北京住宅是全中国最好的标的物 。

原因非常简单
，现在中国执行了全国统一的限贷政策，就算是你在不限购的城市买房 ，房票不受到限制
，你的首套贷款资格也是严格受到限制的，在宝贵的首套贷款指标现在下 ，土豪贷款买房也得受限制于套数
。所以说这也是我最不建议去购买河北环京或者什么旅游地产的最大的一个原因。

正是因为首贷指标的宝贵
，在当今的中国任何一个二线城市，确实都可以购买到一个接近千万 ，或者8
，900万的豪宅的时候，不过这种档次的住宅在二线城市确实可能是处于城市中心 ，也有交通配套
，也有好的商业和学区，但是确有一个很大的问题 ，那就是这个价位在二线城市是房价的顶，也就是我们俗话说的CEO盘 。

在二线城市高净值人群相对较少的情况下
，资产的投资收益远远被当地的低价位的优质房源超越，而且这房也缺乏潜在的二手房买家 ，同时成交不活跃很难在二线城市以较快的速度成交而导致这种CEO盘出手的时间会相对长的多。

但是当你怀揣着几百万现金和宝贵的首贷指标打算买个千万房产的时候来到北京
，你会豁然开朗，为什么？因为你会发现搞了半天8 ，900万
，一千万的房产在北京也就是个市区2居刚需房
。这类房源不光涨幅好，更重要的是一但满五年之后 ，出手的速度是最快的
，而且需求的人群也是最多的了。所以说呀，二线的土豪还等什么？赶紧搞定北京房票 。

5.

还有人可能会建议你在北京购买商住房 ，商铺
，办公楼，说辞最多的无非就是不限购 ，租金高，但是不知道有没有人告诉过你为什么不能买？原因就是即使在一线限购下的北京
，商住都是毫无价值的
。

一是商住是外地投资者或者公司投资者的机会，众多周知商住是流动性产品 ，没有人去帮你锁仓
，它的性质更像是股票，而不是优质的北京住宅 ，有人进去可能一辈子不出来；

二是商住会有大量同户型的存在
，同时向外卖的时候，接房的人选择太多很可能卖不上价。就像盛哥说的 ，从投资角度来讲
，买房的唯一稀缺性非常重要，户型不好或者不稀缺 ，单价明显就低；

三是最最重要的一点
，那就是商住的融资贷款缺陷不仅仅是像有些人想的那样年限是十年，额度只有成交价百分之五十 ，更重要的是因为商住的过户税费问题（差额接近百分之四十），导致商住网签原值无法提升
，这个在全国范围内都是一样的情况，商住的原值假如无法提升的话那么会导致当你的二手商住房出售的时候贷款额没有像住宅一样跟随房价上涨 。举个简单的例子吧 ，50万买的一套商住你可以在开发商手里贷款25万
，五年以后当你房价涨到100万的时候，购买你房屋的人还是只能贷款25万
。

可能还会有一些的人会告诉你商住房可以全款买入 ，然后去银行作抵押
，而且抵押年限能够到二十年，这个按我的了解确实是存在的 ，可惜有个非常大的问题就是你作为商住房的业主当你去卖房时你无法让市场上所有朴素小白二手买家明白这个道理
，教育市场的成本其实才是最高的成本，所以商住房的融资能力是无法被反应到房价上的 ，这才是最大的问题。这也解释了为什么在北京哪怕是很好的地段
，很多二手商住房的涨幅才能到同档次住宅一半的最重要的原因 。当然新盘商住那是永远不缺乏买家的，你需要相信开发商不管是什么东西他们都能找到傻子来接盘
。

6.

转眼间已到2017年 ，在现如今北京住宅市场，由于北京城市化进程结束导致的新盘供应量逐渐接近于零
，和由于历史限购政策导致投资盘房源挤几乎在市场上逐渐消失，在北京市场上能够出现的所有净卖出的房一旦卖出全部被平均给只有一套房的刚需头上或者一两套房的换房者头上了 ，之前的那套房代表被换房或者刚需的需求的刚需锁仓了
，市场又少了套净卖出房源。这个特殊的存量房交易市场才是北京市场二手房交易内在运行模式，已经明确表明了曾经在历史上出现过的13年14年通过政策打压导致市场上能够有相对大量二手房供应出现而让房价能够下降的情况机会不再可能 。作为一个外地人来到北京不管你是什么原因 ，既然来到了这个城市
，那么现在就是放在你面前最好的机会，上车吧
。

关于“NLPIR怎么对sql server数据库数据分词 ”这个话题的介绍 ，今天小编就给大家分享完了
，如果对你有所帮助请保持对本站的关注！