[수학 공부] Why Machines Learn 2주차: Gradients

공지사항 이번 주부터 영어로 함 The Basics of Calculus Given a curve, we can use the tangent at any given point to find the slope of the curve. To find the tangent, we divide the change in $y$ by the chang...

[수학 공부] Why Machines Learn 1주차: The Perceptron

개요 KHUDA 자연언어처리 트랙 뒷타임 수학 세션은 Anil Ananthaswamy가 쓰신 Why Machines Learn: The Elegant Math Behind Modern AI라는 책을 다룹니다. 책 내용을 번역하여 정리하고 뒷타임 세션 때 강의해드립니다. 그리고 욕심이 엄청 높아져서 해당 책에서 공부하는 수학을 코드로 응용하는 것도 해보...

도커와 쿠버네티스 11: 깃허브 액션과 ArgoCD를 활용한 CI/CD

CI/CD의 이해 Continuous Integration: 개발자가 코드를 지속적으로 통합하고 테스트하는 프로세스 소프트웨어를 개발하면서 개발자는 코드를 작성한 후에 깃과 같은 버전 관리 시스템에 push하게 되는데 이때 CI 소프트웨어는 새로운 코드를 기존 코드와 통합하고 자동으로 테스트한다 Continu...

도커와 쿠버네티스 10: 쿠버네티스를 활용한 웹 서비스 배포

사전 준비 사항 PostgreSQL 확인 PostgreSQL이 가동 중인지 확인 인그레스를 활용한 django 실행 디렉터리 정리 디렉터리를 아래와 같이 정리한다 django 이미지 빌드 myDjango04/myapp/myapp에 있는 settings.py를 수정한다 아래와 같이 이미지를 빌드한다 도커 이미지 목록...

도커와 쿠버네티스 8: 쿠버네티스 실습 환경 구축

가상머신 복제 쿠버네티스는 서버가 여러 대일 때 좀 더 효율적으로 운영할 수 있음 → 서버 세 대로 쿠버네티스 클러스터를 구축한 후 실습을 진행한다 서버 대신에 노드라고 함 노드 3대가 있게 ubuntu-server01를 두번 복제한다 Include all network adapter M...

도커와 쿠버네티스 7: 쿠버네티스의 기본 구조

구버네티스의 개념 구버네티스의 어원과 역사 쿠버네티스: 컨테이너화된 애플리케이션의 자동 배포, 확장 및 관리를 해주는 오픈소스 플랫폼 Kubernetes: 고대 그리스러로, 배의 조타수를 의미한다 구글에서 시작한 사내 프로젝트로 2014년에 발표되었다 초기 디자인 대부분은 구글의 Borg ...

도커와 쿠버네티스 6: 도커를 활용한 Flask 실습

실습 환경 구축 Flask 라이브러리 설치 Flask: django와 마찬가지로 파이썬을 활용하여 쉽게 웹사이트를 만들 수 있도록 도와주는 웹 프레임워크 가상 환경을 실행하여 Flask를 설치해본다 Flask를 설치한 후 성공적으로 설치되는지 확인 Flask 실행을 위한 네트워크 설정 5장과 마찬가지로 VirtualBox에서 포...

도커와 쿠버네티스 5: 도커를 활용한 django 실습

추가 실습 환경 구촉 pyenv 설치 django를 활용하기 위해 pyenv를 설치해야 되는데 이는 파이썬 가상 환경을 관리할 수 있게 해주는 소프트웨어이다 먼저 아래와 같은 프로그램을 설치해야 된다 다음은 아래와 같이 pyenv를 설치할 수 있다 홈 디렉터리에서 아래 명령어를 입력하여 .bashrc 파일이 있는지 확인한다 ...

도커와 쿠버네티스 4: 도커 기초

도커 기초 개념 도커 작동 방식 도커의 전체 구조는 도커 클라이언트, 도카 호스트, 도커 레지스트리로 구성된다. 도커 클라이언트: 도커에 명령을 내릴 수 있는 CLI 도구를 의미하는데 이를 이용하여 컨테이너, 이미지, 볼륨 등을 관리할 수 있다는 것 도커 호스트: 도커를 설치한 서버 혹은 가상머신인데 이는 물리 서버...

도커와 쿠버네티스 3: 도커 설치

사전 준비 사항 Docker Docs 참고 일단 필요한 도커 리포지토리와 통신할 수 있는 환경을 설정해봐야 되어서 PuTTY에서 명령어를 입력했다 sudo apt-get update: apt 패키지 인덱스를 업데이트한다는 명령어 sudo apt-get install ca-certificates curl gnup...

도커와 쿠버네티스 2: 도커의 개념

사전 기초 지식 운영체제의 개념 컴퓨터란? 하드웨어와 소프트웨어로 구성되어 있다 하드웨어: 손으로 만질 수 있는 기계 장치 → 하드웨어적 측면에서 컴퓨터는 CPU와 RAM의 모음이라고 생각할 수 있음 소프트웨어: 하드웨어에서 작동되는 프로그램 → 운영체제는 시스템 소프트웨어임 ⇒ 운영체제가 있어야 프로그램들을 실행할...

도커와 쿠버네티스 1: 실습 환경 구축하기

Ubuntu, VirtualBox를 다운로드하는 과정을 따로 쓸 필요가 없다고 생각해서 가상머신 생성하기부터 시작하겠습니다. 노트: 교재가 Ubuntu Server 22.04.3 LTS를 이용하는데 최신 버전을 사용할까 교재를 따를까 고민하다가 결국에 최신 버전, Ubuntu Server 24.04 LTS를 다운로드했습니다. 교재랑 다를 수도 있지...

데이터분석 5: 신경망 + 모델 평가

신경망 + 모델 평가 인공 신경망(CNN, RNN, LSTM) 신경망은 복잡한 비선형적 관계를 병력적으로 분석하고 처리하고 오류나 잡음에 강하기 때에 일반화 성능이 뛰어난다 딥러닝이란 신경망 모델 구조를 확장하여 일반 기계학습 알고리즘을 뛰어넘는 정확도를 자랑하며, 이미자 인식, 문장 번역 등 다양한 분야에서 쓰이고 있다 신경망이란 생...

데이터분석 4: 머신러닝 분석 방법론 pt. 2

선형 판별분석과 이차 판별분석(분류 모델) 판별분석이란? 로지스틱 회귀분석처럼 질적 척도로 이루어진 종속변수를 분류할 때 쓰이는 분석 기법이다 기계학습보다는 통계기반의 데이터 분류 모델에 더 가깝다 회귀 분석처럼 최소 제곱법을 사용하는 처정방법을 통하여 독립변수의 최적 가중치를 구한다 독립 변수들이 정규분...

Data Analysis Specialised Reading: Kernel Trick

Kernel Trick Mathematical technique that maps data from one space to another space → uses Kernel function ⇒ takes as vectors in the original space as its inputs and returns the dot product of th...

데이터 분석3-1: 통계 기반 분석 방법론 + 머신러닝 분석 방법론 pt. 1

분석 모델 개요 통계 모델이란? 모형과 해석을 중요하게 생각하며, 오차와 불확정성을 강조한다 기계 학습이란? 대용량 데이터를 활용하여 예측의 정확도를 높이는 것을 중요하게 생각한다 통계 모델을 함께 활용하면 높은 성과를 얻어낼 수 있다. 데이터 분석 방법론 개요 기계 학습 데이터 분석 방법론 2 가지 기준으로 ...

데이터 분석2-1: 데이터 전처리와 파생변수 생성

결측값 처리 실제 분석 프로젝트에서 다루는 대부분의 데이터는 결측값이나 이상치가 많기 때문에 데이터 탐색 단계에서 파악한 문제점들을 처리하는 과정이 필요한다. 결측값: 분석 환경에 따라 ‘.’, ‘NA’, ‘NaN’ 등으로 표시된다 3가지 종류: 완전 무작위 결측 (MCAR: M...

데이터 분석1-2: 데이터 시각화 실습

일단 라이브러리와 데이터를 불러와야 된다. 이 실습에서 데이콘의 제주도 도로 교통량 예측 데이터를 사용한다. import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import numpy as np sns.set(color_codes=True) %matplotlib inl...

데이터 분석1-1: 데이터 시각화

데이터 탐색과 시각화 탐색적 분석, 상관성 분석과 시각화하는 단계 ML 모델의 성능에는 알고리즘의 우수성이나 파라미터 최적화보다 데이터를 잘 파악하고 효과적으로 가공하는 것이 더 많은 영향을 미친다. Garbage In, Garbage Out (GIGO)란? 의미가 없는 잘못된 데이터를 사용하면 역시 무의미한 결과가 나온다는 의미 ...

머신러닝 5: 혼공머신 6장

비지도 학습 군집 알고리즘 비지도 학습이란? 사름이 가르쳐 주지 않아도 데이터에 있는 무언가 학습하는 것 즉 타깃을 몰라도 학습하는 알고리즘 데이터 준비하기 !wget 명령어를 이용하여 사용할 데이터셋을 다운로드할 수 있다. !wget https://bit.ly/fruits_300 -O fruits_300.npy ...

머신러닝 4: 혼공머신 5장

5장: 트리 알고리즘 결정 트리 예 / 아니오에 대한 질문을 이어나가면서 정답을 찾아 학습하는 알고리즘이다 결정 트리 로지스틱 회귀 이유를 설명하기 쉽다 결과를 설명하기 어렵다 사이킷런의 DecisionTr...

머신러닝 3: 혼공머신 4장

4장: 다양한 분류 알고리즘 로지스틱 회귀 로제스틱 회귀란?? 선형 회귀와 동일하게 선형 방정식을 학습하지만 선형 회귀와 달리 로지스틱 회귀는 분류 모델이다. $z = ax_1 + bx_2 + c$ z는 어떤 값도 가능하지만 확률이 되려면 시그모이드 함수(또는 로지스틱 함수)를 이용하여 0~...

머신러닝 2: 혼공머신 3장

3장: 회귀 알고리즘과 모델 규제 k-최근접 이웃 회귀 정해진 클래스가 없고 오히려 임의의 수치를 반환 예시: 내년도 경제 성장률을 예측 배달 도착하는 시간 예측 k최근접 이웃 분류 k-최근접 이웃 회귀 샘플을 몇 개...

머신러닝 1: 혼공머신 1장~2장

1장: 나의 첫 머신러닝 인공지능이란? 사람처럼 학습하고 추론할 수 있는 지능을 가진 컴퓨터 시스템을 만드는 기술이다. 인공지능의 역사: 태둥기와 황금기 인공지능 태둥기 1943년: 워런 매컬러와 원터 피츠는 최초로 뇌의 뉴런 개념 발표했다 1950년: 앨런 튜링이 인공지능이 사람과 같은 지능을 가졌는지 테스트할 수 있는 튜링 테스트...