_json파일을 만들어서, _bulk로 elastic에 데이타를 넣는게 가장 빠른것으로 보인다.
단, batch파일은 10만건 정도가 적당하고..
이렇게 할 경우 batch파일이 너무 많아지므로,
아래와 같이 shellscript를 만들어서 일괄 삽입하는 게 좋다.
윈도우즈의 경우는 git 윈도우용을 깔아서, git bash등에서 실행하는 걸 추천한다.
#!/bin/sh
for ((i=130;i<258;i++)); do
fName='@modonBatchElastic'$i
RUN_COMMAND='curl -u elastic:changeme -s -H Content-Type:application/x-ndjson
-XPOST 210.92.91.234:9210/_bulk --data-binary '$fName
echo $RUN_COMMAND
echo `$RUN_COMMAND`
done
참고: json포맷 - 2줄당 data한건 삽입
{ "index" : { "_index" : "test", "_type" : "type1", "_id" : "1" } }
{ "field1" : "value1" }
{ "index" : { "_index" : "test", "_type" : "type1", "_id" : "2" } }
{ "field1" : "value2" }
