본문 바로가기

728x90

전체 글

문돌이 존버/데이터 분석 2024. 1. 5.
핸즈온 머신러닝 2 복습하기(챕터 17: 오토인코더와 GAN을 사용한 표현 학습과 생성적 학습) 오토인코더(autoencoder)는 어떤 지도 없이도(레이블이 없는 훈련 데이터 사용) 잠재 표현(latent representation) 및 코딩(coding)이라 부르는 입력 데이터의 밀집 표현을 학습할 수 있는 인공 신경망이다. 강력한 특성 추출기처럼 작동하므로 심층 신경망의 비지도 사전훈련에 사용될 수 있고, 생성 모델(generative model)처럼 훈련 데이터와 매우 비슷한 새로운 데이터를 생성할 수도 있다. 오토인코더와 생성적 적대 신경망(GAN: generative adversarial networks)은 모두 비지도 학습이며, 둘 다 밀집 표현을 학습하고 생성 모델로 사용할 수 있다. 비슷한 애플리케이션이 많지만 작동 방식은 크게 다르다. 오토인코더는 단순히 입력을 출력으로 복사하는 ..
문돌이 존버/데이터 분석 2024. 1. 5.
핸즈온 머신러닝 2 복습하기(챕터 16: RNN과 어텐션을 사용한 자연어 처리) 16.1 Char-RNN을 사용해 셰익스피어 문체 생성하기 Char-RNN을 사용해 한 번에 한 글자씩 새로운 텍스트를 생성할 수 있다. Char-RNN 모델을 어떻게 만드는지 단계별로 알아본다. 16.1.1 훈련 데이터셋 만들기 케라스의 get_file() 함수를 사용해 안드레이 카패시의 Char-RNN 프로젝트에서 셰익스피어 작품을 모두 다운로드한다. shakespeare_url = 'https://homl.info/shakespeare' filepath = keras.utiles.get_file('shakespeare.txt', shakespeare_url) with open(filepath) as f: shakespeare_text = f.read() 다음으로 모든 글자를 정수로 인코딩해야 한다...
문돌이 존버/데이터 분석 2023. 10. 5.
핸즈온 머신러닝 2 복습하기(챕터 15: RNN과 CNN을 사용해 시퀀스 처리하기) 15.1 순환 뉴런과 순환 층 각 타임 스텝(time step, 또는 프레임)마다 순환 뉴런(recurrent neuron)은 $x_{(t)}$와 이전 타임 스텝의 출력인 $y_{(t-1)}$을 입력으로 받는다. 첫 번째 타임 스텝에서는 이전 출력이 없으므로 일반적으로 0으로 설정한다. 각 순환 뉴런은 두 벌의 가중치를 가진다. 하나는 입력 $x_{(t)}$를 위한 것이고 다른 하나는 이전 타임 스텝의 출력 $y_{(t-1)}$를 위한 것이다. 하나의 순환 뉴런이 아니라 순환 층 전체를 생각하면 가중치 벡터를 가중치 행렬 $W_{(x)}$와 $W_{(y)}$로 바꿀 수 있다. 순환 층 전체의 출력 벡터는 아래와 같이 계산된다. $y_{(t)}=\phi (W_{(x)}^T x_{(t)} + W_{(y)}^..
문돌이 존버/각종 꿀팁 및 해결법 2023. 9. 6.
AWS EC2 Linux2 서버 파이썬 버전 변경하기 feat. 설치 X 저번 글에서 소개드렸듯이, Linux2 서버에 셀레니움을 설치 및 사용중인데 갑자기 파이썬 버전 경고(warning) 메시지를 발견했습니다. 제가 사용하고 있는 boto3 라이브러리가 파이썬 3.7 버전을 2023년 12월 이후로 지원하지 않는다는 것이었는데요. 발견한 김에 파이썬 버전을 업그레이드하자 해서 방법을 살펴봤습니다. 미리 말씀드리면 리눅스 서버에 파이썬 3.8 버전이 이미 있기 때문에 3.8 버전으로 업그레이드했습니다. 리눅스 서버기 때문에 업그레이드 과정이 일반 로컬(윈도우 or 맥)과는 달랐습니다. 일본 블로그 내 한국인 개발자 분이 작성한 글을 참고했습니다(약간의 수정 필요). 먼저, EC2 Linux2 서버에서 파이썬 버전을 확인합니다. # python -V python3 -V 참고로..
문돌이 존버/각종 꿀팁 및 해결법 2023. 9. 3.
VS Code에서 AWS EC2 서버 접속하기 feat. SSH 매번 AWS EC2 서버에 접속해서 vi 편집기를 통해 코드를 수정하는 것이 너무 불편하더군요.. 로컬에서 테스트 후에도 전체 파일을 scp로 전송하려 해도 역시나 귀찮았습니다. 그래서 VS Code에서 EC2 서버에 직접 접속해 코드를 편집하고 싶었습니다. 생각보다 간단하고 에러가 나지 않아 참으로 다행이었네요 ^^ 먼저, VS Code에 접속하고 F1 키를 누릅니다. 그러면 검색창이 생기는데 Remote-ssh까지 입력하시고 아래 화면처럼 'SSH 구성 파일 열기'를 클릭합니다. 그리고 나면 맥(or 윈도우) 사용자 이름/.ssh/config 표시가 뜨는데, 이를 누르면 config 파일이 나타납니다. 아래처럼 각자 정보를 입력해줍니다. # Read more about SSH config files:..
문돌이 존버/각종 꿀팁 및 해결법 2023. 9. 2.
AWS EC2 Linux2 서버 셀레니움 설치 feat. 파이썬 AWS EC2 Ubuntu 서버에 셀레니움을 설치하고 파이썬 자동 스케쥴러를 작동시키려 했지만 결국 실패했습니다. HTTP 연결 오류가 발생하면서 아무리 구글링을 해봤지만 안되서.. Linux2 서버를 시도했고 성공했습니다. 성공의 이유가 Ubuntu와 Linux2 서버의 차이에 기인한 걸지도 모르지만, 혹시 몰라 Linux2 서버에선 가상환경을 생성하고 라이브러리를 설치했습니다. python3 -m venv myvenv source myvenv/bin/activate 따라서 오늘은 Linux2 서버에서 셀레니움을 설치하고 작동시킨 방법을 공유하겠습니다. 개발인생님의 블로그를 참고했고 많은 도움이 되었습니다. sudo yum update -y wget https://dl.google.com/linux/d..
문돌이 존버/각종 꿀팁 및 해결법 2023. 8. 30.
우분투(Ubuntu) 서버에서 time zone 변경 feat. crontab 보통 AWS EC2 우분투 서버에 처음 접속하여 아래 명령어를 입력하면 기본 시간대는 다음과 같습니다. timedatectl 이를 한국 시간대로 바꾸려면 아래 명령어를 사용하면 됩니다. sudo timedatectl set-timezone Asia/Seoul 다시 timedatectl 을 통해 살펴보면 아래처럼 잘 변경된 것을 확인할 수 있습니다. (추가) 사실 위의 과정은 우분투 서버에서 crontab을 작동하려고 한 것인데, crontab 로그를 보니 실행되지 않았습니다. 위에서 설정한 time zone을 crontab에서 사용하려면 crontab을 재시작하면 됩니다. sudo service cron restart
문돌이 존버/각종 꿀팁 및 해결법 2023. 8. 28.
로컬 컴퓨터에서 AWS EC2 서버에 특정 파일 전송 로컬 컴퓨터에서 AWS EC2 서버에 특정 파일을 전송하는 방법을 알아보려고 합니다. 방법은 매우 간단합니다. 로컬 컴퓨터에서 터미널(혹은 CMD창)을 열고 아래처럼 입력합니다. scp -i [keypair의 위치와 keypair] -r [특정 파일] [우분투 서버 저장 대상 위치] ex) scp -i /Users/user/mykey.pem -r Users/user/myfile.py ubuntu@ec2-3~~.compute.amazonaws.com:/home/ubuntu 그러면 아래와 같이 성공적으로 파일이 전송된 것을 확인할 수 있습니다. 참고로 scp란, ssh 원격 접속 프로토콜을 기반으로 한 SecureCopy의 약자입니다. 원격지(EC2 서버) 혹은 로컬에 있는 파일과 디렉터리를 서로의 위치에 ..
문돌이 존버/각종 꿀팁 및 해결법 2023. 8. 25.
구글 Colab 터미널 SSH 연결 방법 feat. Mac AWS EC2 우분투 서버를 사용하는 도중 구글 Colab에 접속할 수 없을까 고민해봤습니다. 참고 자료를 찾아보니 대부분 로컬 컴퓨터에서 VS Code를 활용하여 구글 Colab에 접속하더라구요. 저는 우분투 서버 터미널에서 사용하고 싶었기에 아래 글을 참조해 연동해봤습니다. https://blog.naver.com/PostView.nhn?blogId=sjy263942&logNo=222240660186 Colab ssh 접속(terminal & vscode remote ssh) 들어가기 전 가상 컴퓨터를 임대받을 수 있는 AWS EC2 서비스와 비슷하게 google colab도 가상 컴퓨팅... blog.naver.com 위 글은 맥북 로컬 터미널에서 SSH 방식으로 구글 Colab에 연동하는 방법을 ..
문돌이 존버/각종 꿀팁 및 해결법 2022. 10. 12.
쥬피터 노트북(랩) Matplotlib 한글 폰트 깨짐 해결(CentOS7) 이번에는 쥬피터 노트북(랩)에서 matplotlib을 사용할 때 한글이 깨지는 현상을 해결한 경험을 공유해보겠습니다. 단순히 한글 폰트를 다운받고 특정 디렉토리에 업로드하는 것만으로 해결되지 않았습니다... 제가 사용한 쥬피터 노트북(랩)의 OS 환경은 CentOS7이므로 이에 맞춰서 소개하려고 합니다. 먼저, 폰트를 관리하는 유틸리티인 fontconfig 패키지를 설치합니다. sudo yum install fontconfig 기존에 설치된 폰트(영어)는 /usr/share/fonts 에 위치해 있습니다. 따라서 여기에 네이버 나눔 폰트를 설치해보겠습니다. cd /usr/share/fonts curl -o nanumfont.zip http://cdn.naver.com/naver/NanumFont/font..

728x90

티스토리툴바