神策杯 2018高校算法大师赛(个人、top2、top6)方案总

2021-01-10  本文已影响0人  致Great

1 竞赛背景

神策数据推荐系统是基于神策分析平台的智能推荐系统。它针对客户需求和业务特点，并基于神策分析采集的用户行为数据使用机器学习算法来进行咨询、视频、商品等进行个性化推荐，为客户提供不同场景下的智能应用，如优化产品体验，提升点击率等核心的业务指标。
神策推荐系统是一个完整的学习闭环。采集的基础数据，通过机器学习的算法模型形成应用。效果实时验证，从而指导添加数据源，算法优化反馈形成一个全流程、实时、自动、可快速迭代的推荐闭环。

本次竞赛是模拟业务场景，以新闻文本的核心词提取为目的，最终结果达到提升推荐和用户画像的效果。

比赛链接：https://js.dclab.run/v2/cmptDetail.html?id=242

数据集
数据地址：[https://pan.baidu.com/s/1LBfqT86y7TEf4hDNCU6DpA](https://pan.baidu.com/s/1LBfqT86y7TEf4hDNCU6DpA)
密码：qa2u

2 任务

个性化推荐系统是神策智能系统的一个重要方面，精准的理解资讯的主题，是提升推荐系统效果的重要手段。 神策数据以一个真实的业务案例作为依托，提供了上千篇资讯文章及其关键词，参赛者需要训练出一个”关键词提取”的模型，提取10万篇资讯文章的关键词。

3 数据

备注：报名参赛或加入队伍后，可获取数据下载权限。

提供下载的数据集包括两个部分： 1. all_docs.txt，108295篇资讯文章数据，数据格式为：ID 文章标题 文章正文，中间由\001分割。 2. train_docs_keywords.txt，1000篇文章的关键词标注结果，数据格式为：ID 关键词列表，中间由\t分割。

说明： 标注数据中每篇文章的关键词不超过5个。关键词都在文章的标题或正文中出现过。需要注意的是，“训练集文章的关键词构成的集合”与“测试集文章的关键词构成的集合”，这两个集合可能存在交集，但不一定存在包含与被包含的关系。

4 个人初赛第十一名方案

基于NLP中的无监督学习方法来提取关键词，这也是自己第一次参加比赛，当时刚接触NLP，所以对这次比赛印象深刻，在此给大家分享出来

神策杯”2018高校算法大师赛 B榜排名(13/583)

4.1 得分情况

4.2 数据分析：

4.3 提升技巧

这个是导致tf-idf提取关键字误差较大的原因

4.5 核心代码：

# -*- coding: utf-8 -*-
# @Author  : quincyqiang
# @File    : analysis_for_06.py
# @Time    : 2018/9/5 14:17
import pickle
import pandas as pd
from tqdm import tqdm
from jieba.analyse import extract_tags,textrank # tf-idf
from jieba import posseg
import random
import jieba
jieba.analyse.set_stop_words('data/stop_words.txt') # 去除停用词
jieba.load_userdict('data/custom_dict.txt') # 设置词库

'''
  nr 人名 nz 其他专名 ns 地名 nt 机构团体 n 名词 l 习用语 i 成语 a 形容词 
  nrt 
  v 动词 t 时间词
'''

test_data=pd.read_csv('data/test_docs.csv')
train_data=pd.read_csv('data/new_train_docs.csv')
allow_pos={'nr':1,'nz':2,'ns':3,'nt':4,'eng':5,'n':6,'l':7,'i':8,'a':9,'nrt':10,'v':11,'t':12}
# allow_pos={'nr':1,'nz':2,'ns':3,'nt':4,'eng':5,'nrt':10}
tf_pos = ['ns', 'n', 'vn', 'nr', 'nt', 'eng', 'nrt','v','a']


def generate_name(word_tags):
    name_pos = ['ns', 'n', 'vn', 'nr', 'nt', 'eng', 'nrt']
    for word_tag in word_tags:
        if word_tag[0] == '·' or word_tag=='！':
            index = word_tags.index(word_tag)
            if (index+1)<len(word_tags):
                prefix = word_tags[index - 1]
                suffix = word_tags[index + 1]
                if prefix[1] in name_pos and suffix[1] in name_pos:
                    name = prefix[0] + word_tags[index][0] + suffix[0]
                    word_tags = word_tags[index + 2:]
                    word_tags.insert(0, (name, 'nr'))
    return word_tags

def extract_keyword_ensemble(test_data):
    ids,titles=test_data['id'],test_data['title']
    with open('data/test_doc.pkl','rb') as in_data:
        test_docs=pickle.load(in_data)
    labels_1 = []
    labels_2 = []
    use_idf=0

    for title, doc in tqdm(zip(titles, test_docs)):
        title_keywords = []
        word_tags = [(word, pos) for word, pos in posseg.cut(title)]  # 标题
        # 判断是否存在特殊符号
        if '·' in title:
            word_tags = generate_name(word_tags)

        for word_pos in word_tags:
            if word_pos[1] in allow_pos:
                title_keywords.append(word_pos)

        title_keywords = [keyword for keyword in title_keywords if len(keyword[0]) > 1]
        title_keywords = sorted(title_keywords, reverse=False, key=lambda x: (allow_pos[x[1]], -len(x[0])))
        if '·' in title :
            if len(title_keywords) >= 2:
                key_1 = title_keywords[0][0]
                key_2 = title_keywords[1][0]
            else:
                # print(keywords,title,word_tags)
                key_1 = title_keywords[0][0]
                key_2 = ''

            labels_1.append(key_1)
            labels_2.append(key_2)
        else:
            # 使用tf-idf
            use_idf += 1

            # ---------重要文本-----
            primary_words = []
            for keyword in title_keywords:
                if keyword[1] == 'n':
                    primary_words.append(keyword[0])
                if keyword[1] in ['nr', 'nz', 'nt', 'ns']:
                    primary_words.extend([keyword[0]] * len(keyword[0]))

            abstract_text = "".join(doc.split(' ')[:15])
            for word, tag in jieba.posseg.cut(abstract_text):
                if tag == 'n':
                    primary_words.append(word)
                if tag in ['nr', 'nz', 'ns']:
                    primary_words.extend([word] * len(word))
            primary_text = "".join(primary_words)
            # 拼接成最后的文本
            text = primary_text * 2 + title * 6 + " ".join(doc.split(' ')[:15] * 2) + doc
            # ---------重要文本-----

            temp_keywords = [keyword for keyword in extract_tags(text, topK=2)]
            if len(temp_keywords)>=2:
                labels_1.append(temp_keywords[0])
                labels_2.append(temp_keywords[1])
            else:
                labels_1.append(temp_keywords[0])
                labels_2.append(' ')
    data = {'id': ids,
            'label1': labels_1,
            'label2': labels_2}
    df_data = pd.DataFrame(data, columns=['id', 'label1', 'label2'])
    df_data.to_csv('result/06_jieba_ensemble.csv', index=False)
    print("使用tf-idf提取的次数：",use_idf)


if __name__ == '__main__':
    # evaluate()
    extract_keyword_ensemble(test_data)
© 2021 GitHub, Inc.

以下整理来自国内大佬无私的风向

5 “神策杯”2018高校算法大师赛第二名代码

代码链接：https://github.com/bigzhao/Keyword_Extraction
文章链接：https://bigzhao.github.io/2018/10/26/keyword-exaction/

队伍：发SCI才能毕业

5.1 目录说明

5.2 运行说明

  1. 运行Get_Feature.ipynb获取train_df_v7.csv和test_df_v7.csv.
  2. 运行lgb_predict.py 获取结果sub.csv。

依赖包

numpy 1.14.0rc1
pandas 0.23.0
sklearn 0.19.0
lightgbm 2.0.5
scipy 1.0.0

5.3 解题思路方案说明

  1. 利用jieba的tfidf方法筛选出Top20的候选关键词
  2. 针对每条样本的候选关键词提取相应的特征，把关键词提取当作是普通二分类问题。特征可以分为以下两类：
  1. 利用LightGBM解决上述二分类问题，然后根据LightGBM的结果为每条文本选出预测概率Top2的词作为关键词输出即可。

6 第六名方案 Rank 6 / 622

代码链接：https://github.com/RHKeng/ShenCeCup

7 总结

这个任务属于短语挖掘或者关键词挖掘，在接触NLP期间有很多同学在研究如何从文本中挖掘关键词，经过NLP近几年技术的发展，大体总结有以下方法，其实也是贯穿上面分享的三个方案：

8 更多资料

加微信进交流群：1185918903 备注简书

上一篇 下一篇

猜你喜欢

热点阅读