什么是文本分析
文本分析是将非结构化文本数据转换为有意义的数据进行分析的过程,以度量客户意见、产品评论、反馈,提供搜索工具、情感分析和实体建模,以支持基于事实的决策制定。文本分析使用了许多语言、统计和机器学习技术。文本分析包括从非结构化数据中检索信息,以及对输入文本进行结构化以得出模式和趋势,并对输出数据进行评估和解释的过程。它还包括词汇分析、分类、聚类、模式识别、标签、注释、信息提取、链接和关联分析、可视化和预测分析
分析从数以百万计的不同的文件和格式的文本数据中,决定出关键字、主题、类别、语义、标签。文本分析这个术语大致等同于文本挖掘。
文本分析软件解决方案提供工具、服务器、基于分析算法的应用程序、数据挖掘和提取工具,用于将非结构化数据转换为有意义的数据进行分析。输出(提取的实体、事实、关系)通常存储在关系、XML和其他数据仓库应用程序中,以便由其他工具(如商业智能工具或大数据分析或预测分析工具)进行分析。
文本分析软件的过程和特点
1.文本挖掘,文本解析,文本识别,文本提取,文本分类,文本聚类。
2.概念、实体、关系、事件的提取。
3.创建分类。
4.搜索访问,网页抓取,索引,重复文件识别。
5.分析所有主要文件格式和所有主要语言-自然语言/语义工具包。
6.实体关系建模。
7.链接分析,链接文本存储库。
8.识别和分析情绪的能力,人、地点和其他信息从网站、内部文件、报告、调查、形式,员工调查,索赔,承销指出,医疗记录,电子邮件、新闻、博客、社交媒体、客户调查、市场调查、在线论坛、在线评论,评论网站,科学期刊、网站反馈,呼叫中心日志,记录,蜗牛邮件,销售记录。
9.文件汇总功能和记录管理。
10.交互式可视化。
文本分析的应用
1.情绪分析
2.搜索对非结构化数据的访问
3.电子邮件垃圾邮件过滤器,以确定信息的特点,以过滤可能是广告、促销、钓鱼和不需要的材料
4.自动化的广告位置
5.社交媒体监测
6.竞争情报
7.企业业务智能和数据挖掘
8.电子证据发现、记录管理
9.国家安全和情报
10.科学发现,特别是生命科学
11.竞争情报
大数据分析、数据挖掘和文本分析以及统计数据为业务用户提供了通过发现结构化和非结构化数据中的模式和关系来创建智能预测的功能。