自然语言处理

相似度计算统计

2017-11-15  本文已影响6人  chen_sheng

    在计算跨语种文本相似度的过程,部分统计数据展示在这里。

    耗时25分钟,处理中文130句,英文190句。

    计算的统计结果如下:

    首先统计结果以中文为基准,来找对应英文句子的对其情况,选用语料为中英文法规。

    在统计的130句中文里面,假设每一句都找到了对应项,假设找到的分数太低将不被我们放入句子列表当中,用not found来代替,假设找到的分数在一定范围,也就是匹配度不高,但有一定的可能匹配,做一个不确定的标记在另外的标记句子列表当中。这样形成了最终的两个列表对应起来,一个中文句子130句 一个相对应的英文130句子相对应,用一一对应的方式把它们打印出来进行观察对比。

    统计结果有6句中文句子没有找到相应英文与之对应。如下

# 6句没有找到对应英文

第一章 总则

not found

第四章 频率管理

not found

第九章 罚则

not found

第十章 附则

not found

机构根据本条例另行制定

not found

第四十六条 无线电管理人员滥用职权玩忽职守的由其所在单位或者上级机关给予行政处分

not found

    另外有23句匹配分值比较低的中英文对应句子。

# 23句低分值对应句子 radio stations in foreign ships (including offshore oil platforms) aircrafts and vehicles for use in the territory of china must observe relevant international treaties to which the people’s republic of china is a signatory or participating party and the laws regulations and rules of the people’s republic of china国务院总理 李 鹏 中央军委主席 江 泽 民 1993年9月11日 中华人民共和国无线电管理条例

the state radio management organization and local radio management organizations should be equipped with radio managing inspectors to undertake the supervision and examination of various works concerning radio management 第四条 无线电频谱资源属国家所有

it is not allowed to transmit or receive signals that have nothing to do with its operation 禁止出租或者变相出租频率

in developing and manufacturing radio transmission equipment effective measures shall be adopted to control the transmission of electric waves 第二十八条 研制生产无线电发射设备时必须采取措施有效抑制电波发射

to lease or assign frequencies in violation against the relevant provisions of this set of regulations concerning radio frequencies 县级以上各级人民政府负责产品质量监督管理工作的部门应当依法实施监督检查

to handle matters concerning foreign affairs in radio management 第七章 涉外无线电管理

to participate in and coordinate matters concerning radio management between the military and civilian communities 第三十四条 无线电频率划分分配协调的涉外事宜以及我国电台和境外电台的相互有害干扰由国家无线电管理机构统一与有关的国际组织或者国家地区交涉

to handle other matters entrusted by the state radio management organization 第三十五条 外国驻中国使领馆联合国及其专门机构和其他享有外交特权的国际组织驻中国代表机构设置使用无线电台站携带或者运载无线电设备入境必须事先通过外交途径向国家无线电管理机构申请批准

in case the law violating acts have caused major losses to the state collectives or individuals the responsibility of compensation shall be affixed 其他驻华代表机构来华团体客商等外籍用户设置使用无线电台站携带或者运载无线电设备入境事先由业务主管部门或者接待单位根据本条例第十三条的规定报请国家无线电管理机构或者地方无线电管理机构批准

the monitoring stations of departments concerned under the state council shall be responsible for monitoring supervising and examining the radio stations in their own communities 第三十六条 外国船舶含海上平台电台航空器电台车载电台等在我国领域内使用时应当遵守中华人民共和国缔结或者参加的国际条约以及中华人民共和国的法律法规和规章

units or individuals using radio stations shall strictly observe the provisions concerning secrets promulgated by the state 第三十八条 未经国家无线电管理机构批准外国组织或者人员不得运用电子监测设备在我国境内进行电波参数测试

to exercise the unified management of radio stations and frequencies; 4 第三十九条 国家无线电监测中心国家无线电监测站省自治区直辖市无线电监测站以及设区的市无线电监测站负责对无线电信号实施监测

the radio management regulations for the air defence system shall be formulated separately 第四十二条 国家无线电管理机构地方无线电管理机构应当设立无线电管理检查员对无线电管理的各项工作进行监督检查

in more serious cases a concurrent fine of more than rmb1 000 and less than rmb5 000 shall be imposed or radio license shall be revoked 第四十三条 对有下列行为之一的单位和个人国家无线电管理机构或者地方无线电管理机构可以根据具体情况给予警告查封或者没收设备没收非法所得的处罚

the regulations shall be implemented starting from the date of promulgation 情节严重的可以并处一千元以上五千元以下的罚款或者吊销其电台执照

to set up and use radio stations without approval; 2 一擅自设置使用无线电台站的

to formulate principles policies and administrative decrees on the management of radio operations; 2 第四十四条 违反本条例规定给国家集体或者个人造成重大损失的应当依法承担赔偿责任

to implement the principles policies laws and regulations concerning radio management promulgated by the state; 2 国家无线电管理机构或者地方无线电管理机构并应当追究或者建议有关部门追究直接责任者和单位领导人的行政责任

the radio management regulations of the chinese people’s liberation army (including militia) shall be formulated separately 第四十五条 当事人对国家无线电管理机构或者地方无线电管理机构的处罚不服的可以依法申请复议或者提起行政诉讼 their functions are 构成犯罪的依法追究刑事责任

chapter four management of frequencies 第四十七条 中国人民解放军含民兵的无线电管理办法另行制定

to organize scientific research in radio management; 7 人防系统的无线电管理办法另行制定

its main functions are 第四十九条 本条例自发布之日起施行

    以上的23句低分值的匹配句子,能够对应上的仅有4句。

    匹配率为17.39%

    那么我们看看较高分匹配到的句子的情况:

# 所有130句

以下省略。。。

   那么按理说,我们有6句没对应,23句低分值,剩余的高分值101句, 那么我看看一一对应的计算结果情况。

    101句经检查正确匹配的句子24句匹配率较低,23%

    分析:

1 算法问题,在设置算法的过程中,我们把匹配到的本句最高的匹配结果放到此句中文对应,这样匹配有误差的话会对后面的句子匹配造成影响。可以进行多轮比较得到比较好的筛选结果

2 句子长短,比如

第四条 无线电频谱资源属国家所有

the state radio management organization and local radio management organizations should be equipped with radio managing inspectors to undertake the supervision and examination of various works concerning radio management

第二章 管理机构及其职责

the call signals designated by the department concerned under the state council shall be reported to the radio management organizations of the provinces autonomous regions and municipalities under the direct administration of the central government where the radio stations are located for the record

3 无关词汇的影响考虑进去可以提高精确率。

radio   management   organizations

the people’s republic of china

在每一句中都多次出现的词汇,在计算的过程中造成干扰。

4 数字,中英文对应的章段词汇权重较高

在英文中

‘Article 10 ’  与 

‘to lease or assign frequencies in violation against the relevant provisions of this set of regulations concerning radio frequencies’是分离的

中文中

‘第二十二条 国家无线电管理机构对无线电频率实行统一划分和分配。’ 

这样是一句话

5  为什么造成,同样的文章,中英文的分句结果不同,见4

上一篇下一篇

猜你喜欢

热点阅读