본문 바로가기

728x90

Logstash

문돌이 존버/ELK 스터디 2020. 8. 15.
AWS EC2 Ubuntu 18.04 Django 서버 구축 및 Logstash 연동 (2탄) 지난 번 우분투 환경에 장고 서버를 구축하는 과정과 장고 DB를 기본 sqlite3에서 MySQL로 교체하는 작업을 설명했습니다. 오늘은 로그스태시를 활용하여 장고와 ELK를 연동, MySQL 데이터를 앨라스틱서치에 전달해 키바나로 시각화할 수 있는 단계를 소개하겠습니다. 저는 유로띠님의 블로그 글을 아주 유용하게 활용했습니다. 감사합니다 ^^ 가장 먼저 필요한 것은 장고 MySQL과 로그스태시를 연결할 수 있는 connector가 필요한데요, 이 사이트에서 다운로드할 수 있습니다. 저는 5.1.45 버전을 다운로드하였는데, 버전은 상관없을 듯 합니다. 다운받은 파일은 /usr/share/logstash/tools 경로에 이동시켜줍니다. (저는 윈도우라 WinSCP를 통해 우분투 디렉토리에 옮기고 이후 ..
문돌이 존버/Django 스터디 2020. 8. 15.
AWS EC2 Ubuntu 18.04 Django 서버 구축 및 Logstash 연동 (1탄) 이전 글에서는 AWS Linux 2 AMI 서버에 장고 서버를 구축한 과정을 설명드렸는데요, MySQL 설치가 생각보다 간단하지 않고 참고할 자료도 없는 것 같아 어쩔수 없이 Ubuntu 18.04 서버로 갈아타게 되었습니다. 이로써 저는 2개의 Ubuntu 18.04 서버를 생성했고, 각각 장고 서버와 ELK 서버로 나누었습니다. 일단, 우분투는 기본적으로 파이썬 2 / 3 버전이 모두 설치되어 있습니다. python 2 --version 이나 python 3 --version을 입력하면 확인 가능합니다. 아래는 가상환경을 준비하기 위한 과정입니다. sudo apt-get install python3-pip mkdir myvenv cd myvenv # sudo apt install virtualenv ..
문돌이 존버/ELK 스터디 2020. 8. 15.
Django MySQL 멀티 테이블 데이터 처리를 위한 Logstash conf 파일 설정 이번 글에서는 지난 Mac 버전 장고, MySQL, 로그스태시 연동 튜토리얼을 디벨롭하여 저의 상황에 맞는 커스터마이징을 진행해보겠습니다. 저는 MySQL에 테이블이 2개 생성되어 있고, 외래키(Foreignkey) 설정 및 1:N 관계를 가지고 있습니다. 테이블 2개에 적재된 모든 데이터를 한 번에 로그스태시에 전달해야 하고, 키바나 시각화에 하나하나 이용해야 합니다. 이와 관련된 해결 방법으로 여러 가지를 살펴봤는데요. 먼저, 처음에 시도한 것은 아래와 같고 참고한 사이트는 한 외국인의 블로그입니다. jdbc input을 원하는 테이블만큼 여러 개 생성하고 각 쿼리문과 타입을 다르게 설정한 것인데요. 이후에 filter를 통해 타입에 따라 구분하고 output에서도 index로 어떤 타입인지 표시를 ..
문돌이 존버/ELK 스터디 2020. 8. 14.
AWS EC2 Ubuntu 18.04에 ELK 설치 + Linux 2 AMI에 Django 설치 ELK 버전 바뀜 주의! 이번 글에서는 AWS EC2 Ubuntu 18.04 LTS 서버에서 ELK를 구축하는 과정을 공유하고자 합니다. 일단 우분투 유형을 선택했기 때문에 ELK 패키지는 Debian package를 사용했습니다. (전 윈도우라 putty를 사용했고, AWS EC2 인스턴스 생성과 putty 사용 방법에 대해서는 추후에 따로 설명드리겠습니다. 이번 글은 이미 기본 환경에 갖추어진 상태라고 가정하고 진행합니다.) sudo apt-get update sudo apt-get install openjdk-8-jdk # 자바 설치가 우선적으로 이루어져야 합니다 wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key..
문돌이 존버/ELK 스터디 2020. 8. 12.
Mac 버전 장고(Django), MySQL, Logstash 연동 튜토리얼 저는 장고 웹서버를 구축하고 models.py에서 DB 테이블을 생성해놓은 상태입니다. 처음엔 장고에 기본으로 탑재된 sqlite3 DB를 사용하다가 로그스태시 input plugin의 오류 문제를 해결하지 못해 결국 MySQL DB를 연동했습니다. 이는 ELK 공식 홈페이지에 예제로 잘 소개되어 있으니 참고하시기 바랍니다. 제가 잘 몰라서 그렇겠지만 tcp input plugin과 sqlite input plugin을 시도해봤는데 두 방법 모두 안되더라고요. 특히, sqlite input plugin은 앨라스틱 홈페이지에서도 2018년을 마지막으로 업데이트를 진행했고 현재는 공식 지원하는 시스템이 아니라고 합니다. 장고 DB를 MySQL로 설정하더라도 장고 py 파일 내부 명령어는 변경되지 않으니 걱정..
문돌이 존버/ELK 스터디 2020. 6. 13.
Kibana map 시각화에 필요한 geo_point 생성 Kibana map 시각화 실행 이번에는 키바나 지도를 통해 효과적인 시각화를 사용하는 방법을 소개하겠습니다. 키바나 지도를 쓰기 위해선 기본적으로 데이터 파일에 geo_point라는 타입이 존재해야 합니다. 그런데 이 geo_point가 일반 csv 파일이나 json 파일에 설정되어 있지 않습니다. 저도 한참 헷갈린 것이지만 본인 파일에 latitude, longitude가 있다고 해서 geo_point 타입인 것이 아니라 단순히 number 타입입니다. 따라서 latitude, longitude 정보를 가지고 geo_point 타입을 만들어내야 하는 것이 가장 큰 과제입니다. 처음에 logstash를 활용하면 elasticsearch에 geo_point가 생성된 파일을 보낼 수 있다고 생각했는데 결국..
문돌이 존버/ELK 스터디 2020. 6. 4.
ELK 보안 설정과 logstash conf 파일 기초 보안 설정 elasticsearch 보안 설정을 위해선 elasticsearh.yml에서 다음과 같은 코드를 추가하시면 됩니다. xpack.security.enabled: true 이후 bin/elasticsearch-setup-passwords interactive를 커멘드라인에 입력한 후 비밀번호를 설정하면 되겠습니다. kibana 역시 보안 설정을 위해 kibana.yml에서 다음과 같은 코드를 추가하시면 됩니다. elasticsearch.username: "user name" elasticsearch.password: "password" xpack.security.encryptionKey: "something_at_least_32_characters" xpack.security.sessionTim..
문돌이 존버/ELK 스터디 2020. 5. 24.
ELK 기본 명령어 스터디(튜토리얼) ELK(elasticsearch + logstash + kibina) 스터디 내용입니다. ELK를 처음 접하느라 Elastic 홈페이지에 소개하는 튜토리얼 동영상을 보며 따라했습니다. 튜토리얼 동영상에 나오는 github 주소는 여기입니다. 아래 정리한 데는 강사의 설명을 모두 주석으로 처리했습니다. ➜ bin curl localhost:9200 { "name" : "호스트 이름.local", "cluster_name" : "elasticsearch", "cluster_uuid" : "G_3I66A5Ru-gqjWS7GCsVQ", "version" : { "number" : "7.7.0", "build_flavor" : "default", "build_type" : "tar", "build_hash" : ..

728x90

티스토리툴바