欢迎投稿

今日深度:

ElasticSearch,

ElasticSearch,


  • bulk允许在一个请求中进行多个操作(create、index、update、delete),也就是可以在一次请求里做很多事情

    • 也由于这个关系,因此bulk的请求体和其他请求的格式会有点不同

  • bulk的请求模板

    • 分成action、metadata和doc三部份

      • action : 必须是以下4种选项之一

        • index(最常用) : 如果文档不存在就创建他,如果文档存在就更新他

        • create : 如果文档不存在就创建他,但如果文档存在就返回错误

          • 使用时一定要在metadata设置_id值,他才能去判断这个文档是否存在

        • update : 更新一个文档,如果文档不存在就返回错误

          • 使用时也要给_id值,且后面文档的格式和其他人不一样

        • delete : 删除一个文档,如果要删除的文档id不存在,就返回错误

          • 使用时也必须在metadata中设置文档_id,且后面不能带一个doc,因为没意义,他是用_id去删除文档的

      • metadata : 设置这个文档的metadata,像是_id_index_type...

      • doc : 就是一般的文档格式

      POST 127.0.0.1/mytest/doc/_bulk
      { action : { metadata } }
      { doc }
      { action : { metadata } }
      { doc }
      ....
  • 具体实例

    • bulk请求

      POST 127.0.0.1/mytest/doc/_bulk
      //创建一笔数据
      { "create" : { "_id": 1 } }
      { "color": "create black" }
      //创建一笔数据,因为id=1的文档已经存在,所以会创建失败
      { "create" : { "_id": 1 } }
      { "color": "create black2" }
      //索引一笔数据
      { "index" : { "_id": 2 } } 
      { "color": "index red" }
      //索引一笔数据,但是index可以创建也可以更新,所以执行成功
      { "index" : { "_id": 2 } } 
      { "color": "index red2" }
      //索引一笔数据,不一定要设置id(index又能创建又能更新又不用设id,超好用)
      { "index": {} } 
      { "color": "index blue" } 
      //删除一笔文档,注意delete后面不接一个doc
      { "delete" : { "_id": "2" } } 
      //找不到此id的文档,删除失败
      { "delete" : { "_id": "2" } } 
      //更新一笔文档,注意doc格式不太一样
      { "update" : { "_id": 1 } } 
      { "doc": { "color": "update green"} }
      //更新一笔文档,但因为此id的文档不存在,所以更新失败
      { "update" : { "_id": 100 } } 
      { "doc": { "color": "update green2"} }
  • bulk的返回结果

    • 因为在bulk中,每个action的执行结果都是独立的,所以有几个action,就会有几个返回结果,返回结果如下

      • 最上面会有一个errors,表示这一次bulk请求中,是否有action出错了

        • 因此写代码时可以先检查errors这个值,如果是false,表示这次bulk请求全部通过,就不用再一一去检查是否有action出错,但如果是true,则必须去items一个一个检查到底是哪个action出错了

      • items是一个数组,里面则放着每个action对应的结果,上面的请求执行了9个action,所以返回结果的items就会有9个

        • 返回结果会依照action的顺序排好,因此items的第一个结果就是请求时第一个action的执行结果

      {
       ? ?"took": 22,
       ? ?"errors": true,
       ? ?"items": [
       ? ? ?  {
       ? ? ? ? ? ?"create": {
       ? ? ? ? ? ? ? ?"_index": "mytest",
       ? ? ? ? ? ? ? ?"_type": "doc",
       ? ? ? ? ? ? ? ?"_id": "1",
       ? ? ? ? ? ? ? ?"status": 201
       ? ? ? ? ?  }
       ? ? ?  },
       ? ? ?  {
       ? ? ? ? ? ?"create": {
       ? ? ? ? ? ? ? ?"_index": "mytest",
       ? ? ? ? ? ? ? ?"_type": "doc",
       ? ? ? ? ? ? ? ?"_id": "1",
       ? ? ? ? ? ? ? ?"status": 409,
       ? ? ? ? ? ? ? ?"error": {
       ? ? ? ? ? ? ? ? ? ?"type": "version_conflict_engine_exception",
       ? ? ? ? ? ? ? ? ? ?"reason": "[doc][1]: version conflict, document already exists (current version [1])",
       ? ? ? ? ? ? ? ? ? ?"index_uuid": "hc_2I5efRMK3_RUC0HJGew",
       ? ? ? ? ? ? ? ? ? ?"shard": "3",
       ? ? ? ? ? ? ? ? ? ?"index": "mytest"
       ? ? ? ? ? ? ?  }
       ? ? ? ? ?  }
       ? ? ?  },
       ? ? ?  {
       ? ? ? ? ? ?"index": {
       ? ? ? ? ? ? ? ?"_index": "mytest",
       ? ? ? ? ? ? ? ?"_type": "doc",
       ? ? ? ? ? ? ? ?"_id": "2",
       ? ? ? ? ? ? ? ?"status": 201
       ? ? ? ? ?  }
       ? ? ?  },
       ? ? ?  {
       ? ? ? ? ? ?"index": {
       ? ? ? ? ? ? ? ?"_index": "mytest",
       ? ? ? ? ? ? ? ?"_type": "doc",
       ? ? ? ? ? ? ? ?"_id": "2",
       ? ? ? ? ? ? ? ?"status": 200
       ? ? ? ? ?  }
       ? ? ?  }
       ? ? ? ?... 5 RESULTS REMOVED ...
       ?  ]
      }
  • 使用bulk要注意的地方

    • 如果使用127.0.0.1/_bulk,那麽就是在整个ES的范围中插入数据,因此在metadata中要指定插入的index和type,优点是可以一次插入多笔数据到不同的索引

      • 而如果使用127.0.0.1/mytest/doc/_bulk,就不用在metadata再次指定要插入的index和type,可以想像成是_bulk API帮我们自动填好了metadata的_index_type,很方便

    • 还有因为bulk和其他请求的格式不同,或是说基本上他已经不是正常的json格式了,所以在使用bulk时,HTTP header要使用application/x-ndjson

      • 而且每一行的结尾,都要使用\n,如果是一般在postman写请求不会有问题,但是如果是使用curl来发送请求,就要使用--data-binary,才会使每一句的结尾都是\n

www.htsjk.Com true http://www.htsjk.com/Elasticsearch/36087.html NewsArticle ElasticSearch, bulk 允许在一个请求中进行多个操作(create、index、update、delete),也就是可以在一次请求里做很多事情 也由于这个关系,因此bulk的请求体和其他请求的格式会有点不同 bulk的...
相关文章
    暂无相关文章
评论暂时关闭