elasticsearch拼写纠错之Term Suggester

时间：2022-01-17 作者：wufengtinghai

一、什么是拼写纠错

拼写纠错就是搜索引擎可以智能的感知用户输入关键字的错误，并使用纠正过的关键字进行搜索展示给用户；拼写纠错是一种改善用户体验的功能；

elasticsearch提供了以下不同类型的suggester来完成拼写纠错和自动完成功能；

term suggester主要针对单个的term分词进行纠正的场景；

phrase suggester主要针对整个短语的拼写纠正场景；

completion suggester主要提供一种快速高效的自动提示功能；

二、Term Suggester基于单个词的拼写纠错

Term Suggester会将用户输入的text进行解析分解成单个的word，然后针对每个word进行纠错；

elasticsearch的suggester请求的还是_search端点，要发送一个Term suggester请求，我们需要

1.在body中添加suggest字段；

2.指定我们的suggest的名字，我们可以使用不同的名字同时进行多个拼写纠错，其最终的执行结果在response中也会使用这个名字进行区分；

3.通过text字段指定要纠正的文本；

4.指定要使用的suggester类型，这里使用term；

5.指定要在哪个字段上进行拼写纠错；

POST blogs/_search
{
  "suggest": {
    "my_sug": {
      "text": "hots vlna",
      "term": {
        "field": "content"
      }
    }
  }
}

elasticsearch返回结果中的suggest部分包含对应的结果；

不同名字的suggester在返回结果中作为suggest对象的字段，其作为数组承载每个text分词的建议结果；

每个原始的word作为一个对象，对象会记录原始word的基本信息及所有的建议词；

每个建议词对象会包含文本、打分、出现频率；

{
  "suggest" : {
    "my_sug" : [
      {
        "text" : "hots",
        "offset" : 0,
        "length" : 4,
        "options" : [
          {
            "text" : "host",
            "score" : 域名,
            "freq" : 109
          },
          {
            "text" : "http",
            "score" : 0.5,
            "freq" : 235
          },
          {
            "text" : "https",
            "score" : 0.5,
            "freq" : 9
          },
          {
            "text" : "hours",
            "score" : 0.5,
            "freq" : 6
          },
          {
            "text" : "hole",
            "score" : 0.5,
            "freq" : 5
          }
        ]
      },
      {
        "text" : "vlna",
        "offset" : 5,
        "length" : 4,
        "options" : [
          {
            "text" : "vlan",
            "score" : 域名,
            "freq" : 200
          },
          {
            "text" : "vpna",
            "score" : 域名,
            "freq" : 3
          },
          {
            "text" : "vlan1",
            "score" : 0.5,
            "freq" : 111
          },
          {
            "text" : "vlans",
            "score" : 0.5,
            "freq" : 11
          },
          {
            "text" : "vlan8",
            "score" : 0.5,
            "freq" : 10
          }
        ]
      }
    ]
  }
}

三、Term Suggester的通用配置选项

Term Suggester基于编辑距离来计算字符串的相似性；如果一个建议词通过更少字符的改变、添加、删除来转变成原始的字符串，那么这就是一个更好的建议词；例如host通过变换t和s的位置变成hots，则二者的编辑距离是1；

text既可以在suggest里边单独设置，也可以在全局设置；

POST blogs/_search
{
  "suggest": {
    "text": "hots vlna",
    "content_sug": {
      "term": {
        "field": "content"
      }
    },
    "title_sug": {
      "term": {
        "field": "title"
      }
    }
  }
}

analyzer对text设置的文本进行analyse处理，默认使用field字段的search analyzer；

POST blogs/_search
{
  "suggest": {
    "my_sug": {
      "text": "hots vlna",
      "term": {
        "analyzer":"standard",
        "field": "content"
      }
    }
  }
}

size设置每个word返回的建议词的数量，默认是5个；

POST blogs/_search
{
  "suggest": {
    "my_sug": {
      "text": "hots vlna",
      "term": {
        "analyzer":"standard",
        "field": "content",
        "size":6
      }
    }
  }
}

sort设置每个word对应的建议词的排序方式，由于每个建议词只包含text、score、freq，这就涉及以哪个字段先排序；

score，先使用score排序，后使用freq排序，最后使用建议词排序；
frequency，先使用freq排序，后使用score排序，最后使用建议词排序；

POST blogs/_search
{
  "suggest": {
    "my_sug": {
      "text": "hots",
      "term": {
        "field": "content",
        "sort":"frequency"
      }
    }
  }
}


{
  "suggest" : {
    "my_sug" : [
      {
        "text" : "hots",
        "offset" : 0,
        "length" : 4,
        "options" : [
          {
            "text" : "http",
            "score" : 0.5,
            "freq" : 235
          },
          {
            "text" : "host",
            "score" : 域名,
            "freq" : 109
          },
          {
            "text" : "https",
            "score" : 0.5,
            "freq" : 9
          },
          {
            "text" : "hours",
            "score" : 0.5,
            "freq" : 6
          },
          {
            "text" : "hole",
            "score" : 0.5,
            "freq" : 5
          }
        ]
      }
    ]
  }
}

suggest_mode，主要控制针对什么样的词会返回建议词，以及返回那些建议词；

missing，默认的选项，只有输入的词在对应字段的分词中不存在，才有可能返回建议词；

popular，只返回在更多的文档中出现的建议词；

always，任何的建议词都可以返回；

由于vlan322在字段content里已经存在，使用missing模式没有任何返回结果；

POST blogs/_search
{
  "suggest": {
    "my_sug": {
      "text": "vlan322",
      "term": {
        "field": "content",
        "suggest_mode":"missing"
      }
    }
  }
}

{
  "suggest" : {
    "my_sug" : [
      {
        "text" : "vlan322",
        "offset" : 0,
        "length" : 7,
        "options" : [ ]
      }
    ]
  }
}

使用popular模式则会返回对应的建议词；

POST blogs/_search
{
  "suggest": {
    "my_sug": {
      "text": "vlan322",
      "term": {
        "field": "content",
        "suggest_mode":"popular"
      }
    }
  }
}

{
  "suggest" : {
    "my_sug" : [
      {
        "text" : "vlan322",
        "offset" : 0,
        "length" : 7,
        "options" : [
          {
            "text" : "vlan0022",
            "score" : 域名8573,
            "freq" : 5
          },
          {
            "text" : "vlan30",
            "score" : 域名666,
            "freq" : 14
          },
          {
            "text" : "vlan20",
            "score" : 域名666,
            "freq" : 7
          },
          {
            "text" : "vlan.2",
            "score" : 域名666,
            "freq" : 6
          },
          {
            "text" : "vlan12",
            "score" : 域名666,
            "freq" : 6
          }
        ]
      }
    ]
  }
}

四、Term Suggester的专有配置选项

max_edits，主要控制可以包含的最大编辑距离的建议词，可以取值1或者2，默认值为2；

POST blogs/_search
{
  "suggest": {
    "my_sug": {
      "text": "vlan322",
      "term": {
        "field": "content",
        "max_edits":1
      }
    }
  }
}

{
  "suggest" : {
    "my_sug" : [
      {
        "text" : "htpt",
        "offset" : 0,
        "length" : 4,
        "options" : [
          {
            "text" : "http",
            "score" : 域名,
            "freq" : 235
          }
        ]
      }
    ]
  }
}

prefix_length，主要控制原始word的开头多少个字符不参与拼错纠正，默认值为1，提高这个值可以提高性能；

POST blogs/_search
{
  "suggest": {
    "my_sug": {
      "text": "vlan322",
      "term": {
        "field": "content",
        "prefix_length":2
      }
    }
  }
}

{
  "suggest" : {
    "my_sug" : [
      {
        "text" : "htpt",
        "offset" : 0,
        "length" : 4,
        "options" : [ ]
      }
    ]
  }
}

min_word_length，控制建议词的最小字符长度，默认是4；

POST blogs/_search
{
  "suggest": {
    "my_sug": {
      "text": "vlan32",
      "term": {
        "field": "content",
        "min_word_length":7
      }
    }
  }
}

shard_size，主要控制每个分片返回的建议词的数量，通过增大这个设置数量可以提高建议词的准确性，但是可能会降低整体的性能；默认值跟size保持一致；

POST blogs/_search
{
  "suggest": {
    "my_sug": {
      "text": "vlan32",
      "term": {
        "field": "content",
        "shard_size":3,
        "size":10,
      }
    }
  }
}


{
  "suggest" : {
    "my_sug" : [
      {
        "text" : "vlan32",
        "offset" : 0,
        "length" : 6,
        "options" : [
          {
            "text" : "vlan30",
            "score" : 域名333,
            "freq" : 14
          },
          {
            "text" : "vlan.2",
            "score" : 域名333,
            "freq" : 6
          },
          {
            "text" : "vlan12",
            "score" : 域名333,
            "freq" : 6
          }
        ]
      }
    ]
  }
}

max_inspections，通过与shards_size相乘控制shard级别检测可选建议词的数量，默认值5；没有测试出具体的效果；

min_doc_freq，主要控制返回建议词至少在index中至少多个document中出现过，默认值为0，通过提高这个值可以提高准确率，可以设置具体的值也可以设置百分比；这是一个基于shard level配置选项；

POST blogs/_search
{
  "suggest": {
    "my_sug": {
      "text": "vlan32",
      "term": {
        "field": "content",
        "min_doc_freq":3
      }
    }
  }
}

{
  "suggest" : {
    "my_sug" : [
      {
        "text" : "vlan32",
        "offset" : 0,
        "length" : 6,
        "options" : [
          {
            "text" : "vlan30",
            "score" : 域名333,
            "freq" : 14
          },
          {
            "text" : "vlan.2",
            "score" : 域名333,
            "freq" : 6
          },
          {
            "text" : "vlan12",
            "score" : 域名333,
            "freq" : 6
          },
          {
            "text" : "vlan2",
            "score" : 0.8,
            "freq" : 8
          },
          {
            "text" : "vlan10",
            "score" : 域名666,
            "freq" : 55
          }
        ]
      }
    ]
  }
}

max_term_freq，主要控制建议词在文档中出现的最多的次数，可以设置具体数值和百分比；默认值域名；降低这个值可以排除更多的建议词从而提高性能；这个也是shard级别的配置；

POST blogs/_search
{
  "suggest": {
    "my_sug": {
      "text": "vlan32",
      "term": {
        "field": "content",
        "max_term_freq":1
      }
    }
  }
}

string_distance，设置计算编辑距离的具体算法，可选值有internal、damerau_levenshtein、levenshtein、jaro_winkler、ngram；