词典
-
中文分词中基于词典和统计模型的方法对比
??为什么电商搜索用词典法,社交媒体却要用统计模型???当你在淘宝搜索"红色连衣裙"时,系统瞬间匹配出百万商品——这背后是??正向最大匹配法??在发力。词典法像经验丰富的仓库管理员,拿着商品词库快速拆解关键词。但遇到"绝绝子穿搭"这类网络用语,词典法就会把"绝绝子"错误拆成"绝/绝/子",这时候就需要??隐马尔可夫模型(HMM)??通过上下文概率判断这是个新兴...
??为什么电商搜索用词典法,社交媒体却要用统计模型???当你在淘宝搜索"红色连衣裙"时,系统瞬间匹配出百万商品——这背后是??正向最大匹配法??在发力。词典法像经验丰富的仓库管理员,拿着商品词库快速拆解关键词。但遇到"绝绝子穿搭"这类网络用语,词典法就会把"绝绝子"错误拆成"绝/绝/子",这时候就需要??隐马尔可夫模型(HMM)??通过上下文概率判断这是个新兴...