Python将json文件写入ES数据库的方法_Python

Python将json文件写入ES数据库的方法

2021-06-14 00:48poziiey Python

这篇文章主要介绍了Python将json文件写入ES数据库的方法，本文给大家介绍的非常详细，具有一定的参考借鉴价值 ,需要的朋友可以参考下

1、安装elasticsearch数据库

ps：在此之前需首先安装java se环境

下载elasticsearch-6.5.2版本，进入/elasticsearch-6.5.2/bin目录，双击执行elasticsearch.bat 打开浏览器输入http://localhost:9200 显示以下内容则说明安装成功

Python将json文件写入ES数据库的方法

安装head插件，便于查看管理（还可以用kibana）

首先安装Nodejs（下载地址https://nodejs.org/en/）

再下载elasticsearch-head-master包解压到/elasticsearch-6.5.2/下（链接: https://pan.baidu.com/s/1q3kokfhpuj2q3otpgu7ldg

提取码: 1rpp

修改配置文件elasticsearch-6.5.2\config\elasticsearch.yml如下：

Python将json文件写入ES数据库的方法

进入elasticsearch-head-master目录下执行npm install -g grunt-cli，再执行npm install安装依赖

在elasticsearch-head-master目录下找到gruntfile.js文件修改服务器监听地址如下：

Python将json文件写入ES数据库的方法

执行grunt server命令启动head服务

Python将json文件写入ES数据库的方法

访问地址 http://localhost:9100/ 即可访问head管理页面

Python将json文件写入ES数据库的方法

2、将json文件写入es数据库（py脚本如下）

				?

									# -*- coding: utf-8 -*-

									from itertools import islice

									import json , sys

									from elasticsearch import elasticsearch , helpers

									import threading

									_index = 'indextest' #修改为索引名

									_type = 'string'  #修改为类型名

									es_url = 'http://192.168.116.1:9200/' #修改为elasticsearch服务器

									reload(sys)

									sys.setdefaultencoding('utf-8')

									es = elasticsearch(es_url)

									es.indices.create(index=_index, ignore=400)

									chunk_len = 10

									num = 0

									def bulk_es(chunk_data):

									 bulks=[]

									 try:

									  for i in xrange(chunk_len):

									   bulks.append({

									     "_index": _index,

									     "_type": _type,

									     "_source": chunk_data[i]

									    })

									  helpers.bulk(es, bulks)

									 except:

									  pass

									with open(sys.argv[1]) as f:

									 while true:

									  lines = list(islice(f, chunk_len))

									  num =num +chunk_len

									  sys.stdout.write('\r' + 'num:'+'%d' % num)

									  sys.stdout.flush()

									  bulk_es(lines)

									  if not lines:

									   print "\n"

									   print "task has finished"

									   break