지옥의 스터디

🚀 DML(Data Manipulation Language)- DDL에서 정의한 대로 데이터를 입력하고, 입력된 데이터를 수정, 삭제, 조회하는 명령어 1️⃣ INSERT- 테이블에 데이터를 입력하는 명령어INSERT INTO 테이블명 (칼럼명1, 칼럼명2 ...) VALUES (데이터1, 데이터2 ...);INSERT INTO 입사 VALUES ('개발', '250317', '250317', '신입');  2️⃣ UPDATE- 이미 저장된 데이터를 수정하고 싶을 때 사용하는 명령어- 수정하고 싶은 칼럼이 많다면 SET절에 ,(콤마)로 이어서 명시UPDATE 테이블명 SET 칼럼명 = 새로운 데이터 (WHERE 수정할 데이터에 대한 조건); UPDATE 입사 SET 구분 = '경력' WHERE 입사자사..

🚀 윈도우 함수(Window Function) 1️⃣ 순위함수(Ranking Function) - 순위 함수(Ranking Function) 는 특정 기준에 따라 순위를 계산하는 함수이다. 함수 이름설명예RANK동일 순위는 같은 순위값을 가진다.순위값은 앞 순위까지의 누적개수 +1이 된다.1, 2, 3, 4, 4, 4, 7, ...DENSE_RANK동일 순위는 같은 순위값을 가진다.순위값은 단순하게 앞순위 +1이다.1, 2, 2, 3, 3, 3, 4, ...ROW_NUMBER동일 순위라도 각각의 행이 고유의 순위값을 가진다.1, 2, 3, 4, 5, 6, 7, ...  ✅ 순위함수 예제 (RANK)SELECT 사원명, 부서명, 급여, RANK() OVER (PARTITION BY 부서명 OR..

🚀 서브쿼리(Subquery)1️⃣ Main Query와 Subquery-  서브쿼리(Subquery)는 SELECT 문 내에서 다른 SELECT 문을 중첩하여 사용하는 SQL 문법이다.- 서브쿼리는 메인 쿼리(Main Query)의 일부로 작동하며, 하나의 값 또는 여러 개의 값을 반환할 수 있다.- 보통 데이터를 필터링하거나 특정 조건을 만족하는 값을 찾을 때 사용된다. 📌 인라인 뷰(Inline View)- FROM 절에서 사용하는 서브쿼리를 말한다.- 일반적으로 임시적인 가상의 테이블을 생성하는 용도로 사용된다.- 쿼리 내에서만 존재하며, 직접 데이터를 저장하지 않는다. ✅ 인라인 뷰 예제SELECT A.DEPTNO, A.AVG_SALFROM (SELECT DEPTNO, AVG(SAL) AS ..

🚀 관계형 데이터베이스(Relation Database)1️⃣ 관계형 데이터베이스(Relation Databse)❶  관계형 데이터베이스의 등장- 1960년대 초반에는 파일 시스템 기반의 데이터 관리 방식이 사용되었지만, 데이터 중복과 일관성 문제로 인해 비효율적이었다.- 1970년대 E.F.Codd가 제안한 관계형 데이터 모델이 등장하면서, 데이터를 표 형식(테이블)으로 관리하는 방식이 널리 사용되기 시작했다.- 관계형 데이터베이스는 릴레이션(Relation)과 릴레이션의 조인 연산을 통해서 합집합, 교집합, 차집합 등을 만들 수 있다. ❷ 데이터베이스와 데이터베이스 관리 시스템의 차이점- 데이터베이스(DB, Database): 데이터를 체계적으로 저장하고 관리하는 공간- 데이터베이스 관리 시스템(D..

🚀 정규화1️⃣ 정규화(Normalization)- 정규화는 데이터의 일관성, 최소한의 중복, 최대한의 데이터 유연성을 위한 방법이며 데이터를 분해하는 과정이다.- 정규화는 테이블 중복을 제거하고 데이터 모델의 독립성을 확보하기 위한 방법이다.- 정규화는 테이블을 분해해서 데이터 중복을 제거하기 때문에 모델의 유연성을 높인다.- 정규화를 수행하면 비즈니스에 변화가 발생하여도 데이터 모델의 변경을 최소화할 수 있다.- 정규화는 제1정규화부터 제5정규화까지 있지만, 실질적으로는 제3정규화까지만 수행한다.- 정규화된 모델은 테이블이 분해된다. 테이블이 분해되면 직원 테이블과 부서 테이블 간에 부서코드로 조인(Join)을 수행하여 하나의 합집합으로 만들 수도 있다.- 정규화를 수행하면 불필요한 데이터를 입력하..

🚀 데이터 모델링의이해1️⃣ 데이터 모델링- 데이터 모델링은 데이터를 구조화하고 체계적으로 표현하는 과정- 데이터의 논리적, 물리적 구조를 명확히 정의- 중복 최소화 및 일관성 유지- 성능 최적화 및 확장성 확보 2️⃣ 데이터 모델링의 주요 특징특징설명추상화(Abstraction)현실 세계를 간략하게 표현단순화(Simplification)누구나 쉽게 이해할 수 있도록 표현명확성(Clarity)명확하게 의미가 해석되어야 하고 한 가지 의미를 가짐  3️⃣ 데이터 모델링 단계👉 데이터 모델링 단계데이터 모델링 단계설명개념적 모델링- 전사적 관점에서 기업의 데이터를 모델링- 추상화 수준이 가장 높은 수준의 모델링- 계층형 데이터 모델, 네트워크 모델, 관계형 모델에 관계없이 업무 측면에서 모델링- 엔터티(..

[틀린 문제]05. 다음 중 비정형데이터 수집에 사용되는 기술이 아닌 것은?① Chukwa② Sqoop③ Flume④ Scribe더보기② Sqoop스쿱은 대용량 데이터 전송 솔루션으로 정형 데이터 수집에 사용하는 기술이다. 15. 데이터 웨어하우스 환경에서 정의된 접근계층으로 데이터 웨어하우스에서 데이터를 꺼내 사용자에게 제공하는 역할을 하는 것으로 데이터 웨어하우스의 부분이며, 대개 특정한 조직 혹은 팀에서 사용하는 것을 목적으로 하는 것은?① 크롤링② 데이터 마트③ 데이터 마이닝④ 텍스트 마이닝더보기② 데이터 마트데이터 마트(DM: Data Mart)는 데이터 웨어하우스(DW: Data Warehouse) 환경에서 정의된 접근 계층으로 데이터 웨어하우스에서 데이터를 꺼내 사용자에게 제공하는 역할을 한..

데이터 시각화의 종류구분개념기법 예시분포 시각화구분에 따른 변화를 최대, 최소, 전체 분포 등으로 분류하고 관계 설명도넛 차트, 파이 차트, 트리맵시간 시각화시간의 흐름에 따른 변화를 통해 트렌드를 파악점 그래프, 막대 그래프비교 시각화데이터 간 차이점 및 유사성 관계 확인 가능평행 좌표 그래프, 히트 맵, 체크보드 페이스관게 시각화집단 간 상관관계를 확인해 다수치 변화 예측버블 차트, 산점도, 히스토그램공간 시각화지도 등을 통해 시점에 따른 경향이나 차이 확인도트맵, 등치선도, 카토그램 데이터 시각화의 과정단계설명예구조화원본 데이터를 정리하고 분석 목적에 맞게 가공하는 단계데이터 정제, 변수 선택, 그룹화시각화데이터를 그래프, 차트 등으로 변환하여 패턴을 파악하는 단계막대 그래프, 산점도, 히트맵시각표..

과대 적합 방지하기1. 데이터의 증강: 충분한 데이터셋 확보, 양이 적을 경우 변형해서 늘리기2. 모델의 복잡도 감소: 은닉층 수 감소, 수용력 낮추기3. 가중치 규제의 적용: 개별 가중치 값 제한을 통해 복잡도 낮추기 드롭아웃- 학습과정에서 신경망의 일부를 활용하지 않는 방법- 신경망 학습 시에만 활용하고 예측 시에는 활용하지 않음- 학습 시 인공신경망이 특정 뉴런이나 특정한 조합에 지나치게 의존적으로 되는 것을 방지- 서로 다른 신경망들을 앙상블하여 활용하는 것 같은 효과를 내어 과대 적합 방지 드롭아웃의 종류종류내용초기 드롭아웃- 학습의 과정에 있어 노드들을 p의 확률로서 학습 횟수마다 임으로 생략하고, 남은 노드들과 연결선만을 활용해 추론 및 학습을 수행- DNN 알고리즘에 활용시간적 드롭아웃- ..

지도학습 - 회귀모델의 평가지표SSE(Sum Squared Error)- 실제 값과 예측 값의 차이를 제곱하여 더한 값 MSE(Mean Squared Error)- 실제 값과 예측 값의 차이의 제곱에 대한 평균을 취한 값 RSME(Root Mean Squared Error)- MSE에 루트를 취한 값, 평균제곱근 오차 결정계수 R^2- 회귀모형이 실제 값에 대해서 얼마나 잘 적합하는지에 대한 비율 비지도학습 - 군집분석의 평가지표실루엣 계수 Dunn Index 오차행렬(혼돈행렬, Confusion Matrix)- 머신러닝 중 분류(Classification) 모델의 정확도를 2x2 행렬로 나타내는 방법- 알고리즘이 실제(actual) 값과 비교했을 때 얼마나 정확하게 값을 예측했는지는 보기 용이하게 행렬..