如何定中文字符串的怼?/span>
作者：肖L
个h博客Q?/span>http://blog.csdn.net/eaglet
EmailQ?a href="mailto:blog.eaglet@gmail.com">blog.eaglet@gmail.com
2007/4 南京
摘要
在数据挖掘的研究中，我们往往需要判断文章是否雷?/span>,对类似文章或短句q行归类处理{，q其中就会遇到这L问题Q如何确定两个字W串之间的相似程度?/span>
本文l合作者的实际工作l验和数据挖掘理论，l合中文字符串特性介l一套相对完整的ҎQ以解决上述问题.?/span>
分析
最单的问题求解
字符串由一l不同含义的单词l成Q它不同于数值型变量Q可以用一个特定的数值来定它的大小或位|，所以用何种方式来描qC个字W串之间的距，成ؓ了一个值得探讨的问题?/span>
通常情况下，用于分析的数据类型有如下几种Q区间标度遍历、二元变量、标U型变量、序数型变量、比例标度型变量、合类型变量等?/span>
l合q些变量cdQ本文认为字W串变量更适合于归cM二元变量Q我们可以利用分词技术将字符串分成若q个单词Q每个独立的单词作ؓ二元变量的一个属性。我们把所有单词设定ؓ一个二元变量属性集?/span>RQ字W串1和字W串2的单词包含于q个集合R。设q是字W串1和字W串2中都存在的单词的LQ?/span>s是字W串1中存在，字符?/span>2中不存在的单词LQ?/span>r是字W串2中存在，字符?/span>1中不存在的单词LQ?/span>t是字W串1和字W串2中都不存在的单词L。我们称 q,r,s,t为字W串比较中的4个状态分量?/span> 如图1所C：
׃两个字符串都不存在的单词对两个字W串的比较没有Q何作用，所以忽?/span>tQ于是我们采用非恒定的相似度评hpL(JaccardpL)来描qC个字W串见的相异度表C公式ؓ
相异?/span> = r+s / (q+r+s)Q不难推断，他们的Ş似度公式?/span>
怼?/span>=q/(q+r+s) 公式1
?/span>1 字符串关pLq?/span>
例如如下两个字符串串Q?/font>
字符?/span>1Q非对称变量
字符?/span>2Q非对称I间
他们的二元属性关p表为：
|
字符?/span>/属?/span>
|
?/font>
|
对称
|
变量
|
I间
|
|
非对U变?/font>
|
Y
|
Y
|
Y
|
N
|
|
非对U空?/font>
|
Y
|
Y
|
N
|
Y
|
Y 表示存在该单词属性，N表示不存在该单词属?/span>
那么对应?/font>
s = 1; q = 2; r = 1
两个字符串的怼度ؓ 2/(1+2+1) = 50%
单词重复问题求解
前面讨论的问题是最单的字符串比较问题，q个问题中单个字W串不存在重复的单词Q然而如果字W串中出现重复单词，采用上一节的公式套用后得到的l果往往不够理想Q比?/font>
字符?/span>1Q前q前q?/span>
字符?/span>2Q前q?/span>
公式1怼?/span>=q/(q+r+s) 来计，
q = 1 , r=s=0 Q得到的怼度ؓ100%Q而实际上q两个字W串q不完全相同。ؓ解决q个问题Q我们必d在不同位|出现的相同单词假设Z同单词，以其在字W串中出现的ơ序作ؓ区分Q这样其二元属性关p表如下Q?/span>
|
字符?/span>/属?/span>
|
前进1
|
前进2
|
|
前进前进
|
Y
|
Y
|
|
前进
|
Y
|
N
|
相应?/span> q = 1, s=1, r= 0
其相似度?/span> 1/(1+1+0) = 50%
状态分量权?/span>
在实际应用中Q?/span>q,r,s三种状态分量ƈ不一定是同等价值的Q它们往往Ҏ实际应用的需要存在不同的权重Q比如对于某些应用来_两个字符串中相同单词数量比不同单词数量更能说明字W串的相似程度，那么我们必须?/span>q的权重提高，重新计算怼E度?/span>
我们讑֯?/span>q,r,s三个变量的权重分别是Kq, Kr, Ks Q则公式1 演进?/span>
怼?/span>=Kq*q/(Kq*q+Kr*r+Ks*s) (Kq > 0 , Kr>=0,Ka>=0) 公式2
回到上面问题Q对于上一节的两个字符Ԍ如果我们讄Kq = 2 ,Kr=Ks=1Q则更加公式2
它们的相似度?/span> 2*1/ (2*1+1*1+1*0) = 66.7%
同义词问?/span>
在语a中，同义词是l常遇到的问题，如果两个字符串中存在同义词，其相似度又如何计呢?/font>
对于同义词问题，我们要从分词q程中来解决。首先我们需要构Z个同义词对照表，同义词对应C个等价单词，在对字符串分词后对字W串中的所有单词到同义词表中查找，如果存在Q则替换为对应的{h单词Q这样分词后Q两个字W串中的同义词就指向了相同的单词?/font>
比如存在同义词表如下Q?/font>
|
单词
|
{h?/font>
|
|
也许
|
也许
|
|
或许
|
也许
|
|
可能
|
也许
|
字符?/span>1Q他也许不来?/span>
字符?/span>2Q他可能不来?/span>
分词后二元属性关p表如下Q?/font>
|
字符?/span>/属?/span>
|
?/font>
|
也许
|
不来
|
?/font>
|
|
他也怸来了
|
Y
|
Y
|
Y
|
Y
|
|
他可能不来了
|
Y
|
Y
|
Y
|
Y
|
不难看出Q两个字W串的相似度?/span> 100%
同音不同?/span>
在中文网l环境中Q由于大多数|络文章的作者都是采用拼韌入法输入汉字Q经怼出现输入同音不同义的文字错误Qؓ了纠正这U错误，我们可以考虑采用汉语拼音的方式进行分词，也可以综合分词，也就是先正常分词Q在拼音分词Q字W串的分词结果去两者的q?/font>
节
定字符串相似度的方法很多，本文Ҏ作者多q从事数据挖掘工作的l验l合数据挖掘理论提出的相兌x案，可以较好的解决中文字W串分析中的怼度比较问题。但技术的发展是不断前q的Q相信未来还会有更好的方法来解决中文字符串相似度比较问题。读者如果有更好的想法或者发现本文算法中的不I非常Ƣ迎和本文作者联pR?/font>
参考文?/font>
《数据挖掘概念与技术?/span> 机械工业出版C?/span> Jiawei Han, Micheline Kamber
]]>
