搜索相关
2016-08-11 本文已影响314人
袁一帆
搜索技术
理解用户
理解意图
理解文档
理解场景
query分析
-
检索
纠错，同义归一，丢词 -
排序
重要度，紧密度，同义词，时效，意图分类 -
展示
纠错，摘要，同义词，丢词，相关推荐
词的粒度
原词：北邮游泳馆
专有名词粒度：北邮羽毛球馆
基本粒度：北邮 羽毛球馆
细粒度：北邮 羽毛球 馆
多粒度：北邮 羽毛 球馆
拓展粒度：球
词的成分
北京邮电大学老食堂餐厅3楼好吃土豆
- 北京
（城市） - 邮电大学
（地标） - 老食堂餐厅
（店名） - 3楼
（位置） - 好吃土豆
（菜名）
词表，CRF，句法分析，模板
query改写
- 同义词
- CWM：�Click � Weight � Model � �
- NHM：Ngram � Hit � Model �
query挖掘
- 是否被浏览
- 是否被点击
- 是否有吸引力
- 文档对用户吸引力
Doc分析
Doc分析 - 标签
- 标签分类
- 标签分级（权重）
Doc分析 - UGC
情感分析
User分析
- 用户基础标签
- 基本信息：性别，年龄，消费水平
- POI信息：常住地，活动商圈
- 用户特定领域标签
知识图谱
关键词对齐
关键词对齐的目标是得到query和知识库的对齐信息，便于解码时找相应的词语。
- 编辑距离
- 命名习惯
- 垂直领域内容
- 同义词表
- 词向量
查询分析
业务识别
查询串 -> 标签类别 -> 有编码的属性进行解码（店名->Id）
查询分析流程
- 归一化，分词
- 业务识别
- 实体识别
- 查询改写：
- 同义词
- 上下位词：父类词，子类词扩充
- 去词改写：留下核心词
- 相似改写：周杰伦和昆凌的例子
- 语义扩展
- 意图识别：
- 商家，位置，行业，产品&服务
- 每个意图都对应着某些类别的标签
- 召回策略
- 排序
搜索引导
- 默认词
- 热词
- 历史搜索
- 查询纠错
- 泛词引导 - 搜索地点，推荐用户喜欢的品类关键字
- 相关搜索
- POI推荐
热词 - 候选集
- 历史消费行为：40%
- 附近wifi的poi：20%
- 地理位置：40%
- 城市热词：推荐不足之后补余
热词 - 排序策略
- 用户日志
- 展现 - 小
- 点击 - 中
- 下单 - 大
- 特征排序
- 候选词特征：pv，ctr
- 用户特征：是否活跃，品类偏好
- 用户+候选词：历史查询与候选词相似度，位置
未来需要标签化，场景化
smart-box
候选词
- 静态数据：审核的城市，店名，菜品
- 搜索日志：天，周，月的热词
- 商户名 & 门店名
- 地点 & 品类
- 旅游 & 电影
- 组合：地标+品类 品类+属性
召回策略
- 普通前缀
- 拼音前缀
- 简拼前缀
3种权重依次降低，优先搜索本城市，未命中才扩展全国
排序策略
训练样本：点击的推荐词为正样本，展示了没点的作为负样本
推荐词的特征：周PV，点击下单，转化率，词长度
用户特征：用户距离，用户区域周下单，用户区域PV
关联特征：共现特征，组合ctr
纠错
- 同音
- 多字，漏字，顺序颠倒
- 模糊音
- 拼音
- 形近字
- 英文
候选集合
- 人工审核名单
- 搜索点击
- 搜索session
- 地点，品类
- 旅游，电影
召回策略
- 拼音索引
- 汉子索引
- 纠错对索引
一个query过来：
纠错模块：同音纠错，模糊音纠错，字典纠错 ，形近字纠错
产生候选序列
泛词查询
引导用户的思路，不同需求不同引导
搜索分词
分词算法
- 前向最大匹配
- 后向最大匹配
- 基于统计的方法
- 基于条件随机场CRF算法
CRF：是一个序列标注问题，可以发现新词，消歧义
