ADsP 공부 기록....

2. 데이터 사이언티스트에게 요구되는 소프웨어 역량

커 뮤니케이션

스 토리텔링

호 기심

창 의적 사고

 

> 커스(커피색스타킹)을 좋아하는 이 호창

 

 

3. 척도 : 명목, 순서, 구간, 비율 > 절대적 영점, 해당 예시 찾아서 정리

 

 

 

4. 표본추출방법

 

 

 

5. 피어슨 / 스피어만 정리

스피어만 이니까 앞에 ㅅ > 서열척도

피어슨은 나머지

 

 

6. 회귀분석시에 잔차도를 보고 어떤가정에 위배되었는지 고르기 

 

 

 

7. ~~분석 군집분석, 분류분석, 장바구니분석, 순차분석

 

 

 

9. 2과목중 비즈니스 모델 캔버스 정리(그림)

규제와 감사

업무 - 제품 - 고객단위

지원 인프라

 

 

 

 

10. 개인정보의 주요 식별요소를 다른 값으로 대체하여 개인식별을 어렵게 만드는기술

 - 가명처리

*tip : 데이터 마스킹은 보이지 않도록 만드는것

https://codedragon.tistory.com/7551

데이터 비식별화 기법 - 가명처리(pseudonymisation), 총계처리(aggregation), 데이터 값 제거(data reduction),

참고자료

 

 

 

11. KDD - KRISP-DM 차이

KDD	CRISP-DM
분석대상 비즈니스 이해	업무 이해 (목적 요구사항 이해)
데이터 셋 선택	데이터의 이해 (데이터를 수집, 속성을 이해, 인사이트 발견)
데이터 전처리
데이터 변환(변수찾기, 데이터차원축소)	데이터 준비 (데이터셋선택, 데이터정제)
데이터 마이닝	모델링 (모델링기법,알고리즘선택, 최적화, 모델평가)
데이터 마이닝 결과 평가	평가 (분석결과평가, 모델링과정평가, 모델적용성평가)
데이터 마이닝 활용	전개 (실업무에 적용, 유지보수 계획마련)

* CRISP-DM의 프로세스는 일방향(폭포수모델)이 아닌 각 단계간 피드백을 통한 완성도를 높히는 구성을 되어있다.

 

 

 

12. 상향식 접근 . 햐향식 접근 

 

 

 

 

13. 분석과제의 주요 관리 영역

- Data Size

- Data Complexity

- Speed

- Analystic & Complexity

- Accuracy & Precision

 

 

 

14. 마스터플랜 수립 시점에서 분석의 지속적인 적용과 확산을 위한 거버넌스 체계의 구성요소

 

 

 

 

15. 분석수준 진단 4분면 알기

 

 

 

16. 이산형. 연속형 확률분포 정리

이산형은 이상하다고 생각하고 이항 베르누이 기하 포아송 앞만따서 이베기포

이상한게 입에기포가 난다 이런식...?? 으로 외우기

 

 

 

17. R 데이터 오브젝트 정리

> 백터 : 원소모드 같아야함

> 리스트 : 원소들 모드 달라도됨

> 데이터프레임 : 행렬이 아닌 리스트로 표현!

 

 

 

18.종속변수를 설명하는데 가장 중요한 독립변수?

 

 

19. 중심극한정리 설명

 

 

 

20. 데이터 척도에 관한 설명

 

 

 

26. 분해시계열

 

 

 

27. 다중회귀분석시에 모형을 적합시킨후 모형이 적절한지 확인하기 위해 체크해야할 사항?

 

 

 

28.주성분분석 알아보기 

 

 

 

29. 연관규칙에서 향상도가 크다?

> 향상도가크면 결과를 예측하는데 있어 우수하며 두 품목간의 연관성이 높아진다.

 

 

 

30. 마스터플랜수립시, 우선순위 고려요소

- 전략적 중요도

- 비즈니스 성과/ROI

- 실행용이성

> 비 실 전략 으로 외우기 ! 마스터플랙 수립시 우선순위는 비실전략이다!!

 

31. 데이터 표준화

- 데이터 표준용어 설정

- 명명 규칙 설립

- 메타데이터 구축

- 데이터 사전 구축

 

32. 시스템구현단계에서 정보보안과 코딩은 고려사항이 아니다!

 > 시스템 설계 및 구현, 테스트 및 운영이 주요 고려사항이다.

 

33. 표본추출방법 정리

 

34. 분류 분석

- 로지스틱회귀분석

- 인공신경망분석

- 의사결정나무 분석

- 앙상블기법

 

 

https://kimtell.tistory.com/374

Adsp 독학하며 익힌 3과목 암기 꿀팁 공유

10. 오분류표 공부하기

 

1. 데이터를 유형으로 분리할때

- 정량적 데이터

- 정성적 데이터

 

2. evaluation - 평가

 

3. 와드연결법 

군집내 편차들의 제곱합을 고려한 방법, 군집간 정보의 손실을 최소화 하기 위해 군집화를 진행

 

4. k-means 군집으로 대표되는 비계층적 군집방법에서 군집의 개수인 k를 미리 정해주어야하는데 이때 군집수에 따른

집단 내 제곱합의 그래프를 그려 군집의 수를 정한다.

 

5. 로짓, 로짓변환

 

6. 활성화함수

- 신경망 모형에서 OUTPUT을 결정

- 입력신호의 총합을 출력신호로 변환하는 함수

 종류 : 계단, 시그모이드, ReLU, Softmax 등이 있다.

 

 

7. 시계열모형

AR모형 (자기회귀 모형)	- 현시점의 자료를 p시점 전의 유한개의 자기자신의 과거값을 사용하여 설명 - 백색잡음의 현재값과 자기자신의 과거값의 선형 가중값으로 이루어진 정상확률모형
MA모형 (이동평균 모형)	- 과거 q시점 이전 오차들에서 현재항의 상태를 추론 - 최근 데이터의 평균을 예측치로 사용, 각과거치는 동일 가중치 - 현시점의 자료에 과거 백색잡음의 선형결합으로 표현 - 항상 정상성을 만족
ARIMA 모형 (자기회귀 누적 이동평균모형)	- 현재와 추세간의 관계를 정의 - 비정상적 시계열모형 - ARIMA(a,b,c) > a:AR모형 차수 b:차분 c:MA모형차수

* 지수평활법 : 일정기간의 평균을 이용하는 이동평균법과 달리 모든 시계열 자료를 사용하여 평균을 구하며, 시간의 흐름에 따라 최근 시계열에 더 많은 가중치를 부여하여 미래를 예측하는 방법이다.

 

 

 

8. 시그모이드 / 소프트 맥스

 

 

9. 선형함수를 시그모이드 함수로 변환하는 방법

- 로짓변환(logit 변환)

 

10. ISP

 

11. 데이터 분석조직 유형

- 기능형 : 별도의 분석 조직이 없고 해당 업무 부서에서 분석을 수행하는 방식

- 분산형

- 복합형

- 집중형 : 분석업무를 별도의 분석 전담 조직에서 담당, 분석업무와 현업부서의 이중화/이원화 가능성이 높음

 

12. 회귀분석에서 다중공선성은 회귀계수의 분산을 증가시켜 불확실성을 증가시킨다..!

 

13. DBSCAN ,DENCLUE > 밀도기반

 

14. 군집분석 > 이질적인 모집단을 세분화하는 기능

 

15. ERP / SCM / CRM

ERP는 전사적 자원관리 [Enterprise Resource Planning, 全社的資源管理]를 말하는 것
SCM은 공급망관리 [supply chain management, 供給網管理]를 이르는 말
CRM은 고객관계관리 [ customer relationship management , 顧客關係管理 ]를 이르는 말

 

17. 실루엣계수 : 군집모형 평가중하나이며 군집의 밀집정도를 계산하는 방법. 군집내의 거리와 군집간의 거리를 기준으로 군집분할의 성과를 평가하는것

 

18. 계층형군집 거리

민코우스키 거리 : 맨하탄거리 + 유클리디안거리 한번에 표현

마할라노비스 거리 : 통계적 개념이 포함된 거리로 변수들의 산포를 고려하여 이를 표준화한 거리   

 

19. 모형검정

로지스틱회귀분석 - 카이제곱 검정

선형회귀분석 - F검정, T검정

 

20. SOM에서 입력벡터의 특성에 따라 벡터가 한점으로 클러스터링 되는층 > 경쟁층

 

1. 암묵지와 형식지의 상호작용 관계

- 공통화

- 표출화

- 연결화

- 내면화

앞글자만 따서 공 표 연 내 > (알고보니) 곰표였네 ?

 

2. 빅데이터 활용에 필요한 기본적인 3요소

- 데이터

- 기술

- 인력

 

앞글자만 따서 데 인 기 > 대인기피증 생각

 

3. 3V

- 양(Volume)

- 다양성(Variety)

- 속도(Velocity)

+

- 가치(Value) , 시각화(Visualization), 정확성(Veracity)

 

 

 

4. 용어정리

 

-제조분야

- CRM : 고객 관계 관리 고객 중심 자원을 극대화

- SCM : 공급망 관리

- BI : 의사결정에 활용하는 일련의 프로세스

- RTE : 회사 전 부문의 정보를 하나로 통합

 

-금융부문

- EAI : 정보를 중앙 집중적으로 통합 관리 사용 할수있는 환경을 구현

- EDW : DW를 확장한 모델

 

유통부문

- KMS : 지식관리 시스템

 

 

2과목

- 분석대상을 알면 OS , 모르면 ID

Optimization 최적화

Solution 솔루션

Insight 통찰

Discovery 발견

 

분석방법론의 구성요소

- 상세한 절차

- 방법

- 도구와 기법

- 템플릿과 산출물

 

분석방법론 모델

1) 폭포수 모델 : 단계를 순차적으로 진행하며 문제 발생시 이전으로 돌아가는 피드백 수행, 하향식 접근방법

 

2) 나선형 모델 : 반복을 통해 점증적으로 개발 ( 점증이면 나선형 )

 

3) 프로토타입 모델 : 사용자 요구사항이나 데이터를 정확히 규정하기 어렵고 데이터 소스도 명확히 파악하기 어려운 상황에서 사용 , 상향식 접근방법 (가설생성 > 결과물을 통해 가설 확인 > 개발 검증과 양산검증 > 시제품출시 )

 

데이터 거버넌스 구성요소

- 원칙(Priciple)

- 조직(Organization)

- 프로세스(Process)

 

영어로 POP , (원조인 프로) 외우기