본문 바로가기

728x90

Elasticsearch

문돌이 존버/ELK 스터디 2020. 8. 15.
Django MySQL 멀티 테이블 데이터 처리를 위한 Logstash conf 파일 설정 이번 글에서는 지난 Mac 버전 장고, MySQL, 로그스태시 연동 튜토리얼을 디벨롭하여 저의 상황에 맞는 커스터마이징을 진행해보겠습니다. 저는 MySQL에 테이블이 2개 생성되어 있고, 외래키(Foreignkey) 설정 및 1:N 관계를 가지고 있습니다. 테이블 2개에 적재된 모든 데이터를 한 번에 로그스태시에 전달해야 하고, 키바나 시각화에 하나하나 이용해야 합니다. 이와 관련된 해결 방법으로 여러 가지를 살펴봤는데요. 먼저, 처음에 시도한 것은 아래와 같고 참고한 사이트는 한 외국인의 블로그입니다. jdbc input을 원하는 테이블만큼 여러 개 생성하고 각 쿼리문과 타입을 다르게 설정한 것인데요. 이후에 filter를 통해 타입에 따라 구분하고 output에서도 index로 어떤 타입인지 표시를 ..
문돌이 존버/ELK 스터디 2020. 8. 14.
AWS EC2 Ubuntu 18.04에 ELK 설치 + Linux 2 AMI에 Django 설치 ELK 버전 바뀜 주의! 이번 글에서는 AWS EC2 Ubuntu 18.04 LTS 서버에서 ELK를 구축하는 과정을 공유하고자 합니다. 일단 우분투 유형을 선택했기 때문에 ELK 패키지는 Debian package를 사용했습니다. (전 윈도우라 putty를 사용했고, AWS EC2 인스턴스 생성과 putty 사용 방법에 대해서는 추후에 따로 설명드리겠습니다. 이번 글은 이미 기본 환경에 갖추어진 상태라고 가정하고 진행합니다.) sudo apt-get update sudo apt-get install openjdk-8-jdk # 자바 설치가 우선적으로 이루어져야 합니다 wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key..
문돌이 존버/ELK 스터디 2020. 6. 13.
Kibana map 시각화에 필요한 geo_point 생성 Kibana map 시각화 실행 이번에는 키바나 지도를 통해 효과적인 시각화를 사용하는 방법을 소개하겠습니다. 키바나 지도를 쓰기 위해선 기본적으로 데이터 파일에 geo_point라는 타입이 존재해야 합니다. 그런데 이 geo_point가 일반 csv 파일이나 json 파일에 설정되어 있지 않습니다. 저도 한참 헷갈린 것이지만 본인 파일에 latitude, longitude가 있다고 해서 geo_point 타입인 것이 아니라 단순히 number 타입입니다. 따라서 latitude, longitude 정보를 가지고 geo_point 타입을 만들어내야 하는 것이 가장 큰 과제입니다. 처음에 logstash를 활용하면 elasticsearch에 geo_point가 생성된 파일을 보낼 수 있다고 생각했는데 결국..
문돌이 존버/ELK 스터디 2020. 6. 4.
ELK 보안 설정과 logstash conf 파일 기초 보안 설정 elasticsearch 보안 설정을 위해선 elasticsearh.yml에서 다음과 같은 코드를 추가하시면 됩니다. xpack.security.enabled: true 이후 bin/elasticsearch-setup-passwords interactive를 커멘드라인에 입력한 후 비밀번호를 설정하면 되겠습니다. kibana 역시 보안 설정을 위해 kibana.yml에서 다음과 같은 코드를 추가하시면 됩니다. elasticsearch.username: "user name" elasticsearch.password: "password" xpack.security.encryptionKey: "something_at_least_32_characters" xpack.security.sessionTim..
문돌이 존버/ELK 스터디 2020. 5. 24.
ELK 기본 명령어 스터디(튜토리얼) ELK(elasticsearch + logstash + kibina) 스터디 내용입니다. ELK를 처음 접하느라 Elastic 홈페이지에 소개하는 튜토리얼 동영상을 보며 따라했습니다. 튜토리얼 동영상에 나오는 github 주소는 여기입니다. 아래 정리한 데는 강사의 설명을 모두 주석으로 처리했습니다. ➜ bin curl localhost:9200 { "name" : "호스트 이름.local", "cluster_name" : "elasticsearch", "cluster_uuid" : "G_3I66A5Ru-gqjWS7GCsVQ", "version" : { "number" : "7.7.0", "build_flavor" : "default", "build_type" : "tar", "build_hash" : ..

728x90

티스토리툴바