티스토리

ko527ko 님의 블로그

검색하기

블로그 홈

ko527ko 님의 블로그

ko527ko.tistory.com/m

ko527ko 님의 블로그 입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[데이터 마이닝] Ch.11 - Contextual and Collective outliers를 Mining하기, 고차원 데이터에서 Outlier Detection 1. Basic concept - outlier은 normal한 패턴을 따르지 않는 것 2. Statiscal approaches: 통계적 기법으로 outlier 찾기(box plot, normal distribution, t-distribution, distance-based, realistic k로 local outlier)3. Proximity-based approaches4. Reconstruction-based approaches - normal한 방법을 대표하는 모델 (succint represention)으로 복원시켰을 때, normal한 것은 모델을 따르고, outlier은 모델을 따르지 않음.5. Clustering and Classification based approaches - 클러.. 공감수 0 댓글수 0 2024. 12. 4.
[데이터 마이닝] Ch11. Outlier - Reconstruction-based, Clustering and Classification-based Outlier detection 1. Basic concept2. Statiscal approaches3. Proximity-based approaches4. Reconstruction-based approaches - Matrix factorization based method 5. Clustering and Classification based approaches - Clustering-based approaches - Classification-based approaches6. Mining contextual and collective outliers7. Outlier detection in high-dimensional data 어떠한 data를 설명하기 위한 model(Succinct representation)을 오차를 최.. 공감수 0 댓글수 0 2024. 12. 3.
[데이터 마이닝] Ch11. Outliers - Statiscal, Proximity-based outlier detection 1. Basic concept2. Statiscal approaches - Parametric methods - Nonparametric methods3. Proximity-based approaches4. Reconstruction-based approaches5. Clustering and Classification based approaches6. Mining contextual and collective outliers7. Outlier detection in high-dimensional data 주어진 data set의 분포를 잘 설명하는 생성 모델을 학습하고, 그 모델에서 낮은 확률 영역(low-probability regions)에 속하는 objects를 outliers로 식별한다. pa.. 공감수 0 댓글수 0 2024. 12. 1.
[데이터 마이닝] Ch11. Outlier - Basic concept Outlier(이상치)를 알아보고, Outlier을 detection(감지)하는 방법론을 배워보자.1. Basic concept2. Statiscal approaches3. Proximity-based approaches4. Reconstruction-based approaches5. Clustering and Classification based approaches6. Mining contextual and collective outliers7. Outlier detection in high-dimensional data대부분의 transaction들은 normal 하지만, 몇몇은 매우 anormal(일반적이지 않다). 함.Outlier: data의 분포(expectation)을 따르지 않는 소수의 d.. 공감수 0 댓글수 0 2024. 12. 1.
[데이터 마이닝] Ch8. Cluster analysis - Density-based/Grid-based Cluster analysis: 군집 분석Partitioning methods: 부분 나누기 방법Hierarchical methods: 계층적 방법Density-based and grid-based methods (밀도 기반, 격자 기반 방법)- DBSCAN : high density(높은 밀도)를 가진 connected regions(연결된 지역)을 기반으로 한 density-based(밀도 기반) clustering- DENCLUE: density distribution function(밀도 분산 함수)에 기반한 clustering- Grid-based methodEvaluation of clustering (클러스터링의 평가) density(밀도)에 기반한 Clustering밀도의 척도: local.. 공감수 0 댓글수 0 2024. 11. 20.
[데이터 마이닝] Ch8. Cluster analysis -Hierarchical methods Cluster analysis: 군집 분석Partitioning methods: 부분 나누기 방법Hierarchical methods: 계층적 방법Hierarchical clustering의 기본 개념Agglomerative hierarchical clustering (병합 계층적 군집화)Divisive hierarchical clustering (분열 일으키는 계층적 군집화)BIRCH: scalable hierarchical clustering (확장 가능한 계층적 군집화) using clustering feature(CF) trees (군집 특징 트리를 이용한)Probabilisitc hierarchical clustering (확률적인 계층적 군집화)Density-based and grid-base.. 공감수 0 댓글수 0 2024. 11. 20.
[인공지능 입문] 10. 선형 회귀 선형 회귀: 입력 데이터를 가장 잘 설명하는 기울기와 절편값을 찾는 문제 (최적화된 직선을 찾는 문제)선형 회귀의 기본식(직선의 방정식): f(x)=Wx+b- 기울기: 가중치 W- 절편: 편향 b 비선형 회귀: 곡선을 찾는 문제학습 데이터를 선형 회귀 모델에 넣으면 예측값을 출력단순 선형 회귀- 특징 x가 하나인 선형 회귀- W와 b:정확한 예측을 위해 알고리즘이 '학습'하려고 시도하는 매개 변수- x와 y는 학습 데이터를 나타내고, f(x)는 우리의 예측을 나타냄f(x) = wx + b 다중 선형 회귀- 특징이 여러 개인 복잡한 다중 선형 모델- w1, w2, w3: 계수, 가중치를 나타냄, 모델이 학습하려고 하는 매개 변수 (차원)f(x) = w1x1+w2x2+w3x3+...+wdxd+b 데이터에 가.. 공감수 0 댓글수 0 2024. 11. 4.
[데이터 마이닝] Data, Measurements and Data Preprocessing Data Types, Statics of Data, Similarity and Distace9 Measures, Data Quality, Data Clening and Data Intergration, Data transformation, Dimensionality Reduction, Summary에 대해 배워보자. 1. Record Data (기록된 데이터)- Relational records: Relational tables(관계형 테이블), highly structured(구조화된- Data matrix ex. numerical matrix(숫자 배열), crosstabs (교차표)- Transaction data (발생 데이터, 변동 데이터)- Document data: Term-frequency.. 공감수 0 댓글수 0 2024. 10. 16.
[데이터 마이닝] Pattern Mining: FP-Growth (freq 패턴 마이닝) Apriori approach의 장애물(단점)- Breadth-first search: 메모리를 많이 씀. 모든 것을 탐색해야 함. (비효율적)- candidate를 생성하고 테스트함: 종종 많은 양의 candidate가 생김- memory 안에 candidate가 다 들어가야 알고리즘 성능이 좋아짐. → candidate 개수가 줄어야 함. 어떤 case에는 메모리에 candidate를 다 넣을 수 없음그래서 생긴 FPGrowth Approach- Depth-first search - 명확한 candidate 생성을 피한다.- 원리: 지역 frequent items 만을 사용해서 짧은 패턴 → 긴 패턴으로 성장시킴 ㄴ frequent pattern인 "abc" / "abc"를 가진 모든 trans.. 공감수 0 댓글수 0 2024. 10. 10.
[데이터 마이닝] Pattern Mining: Pattern Evaluation Methods 패턴 평가 방법에 대해 알아보자. 1. Rule/Pattern이 흥미로운지(중대한지) 판단하는 방법pattern-mining은 방대한 pattern/rules의 집합을 만든다. -> 생성된 모든 집합이 흥미롭진 않음. 흥미로움의 척도: Objective(객관적) vs Subjective(주관적) -> Support, confidence, correlation... 주관적인 흥미로움의 척도: 다양한 user들이 다양하게 흥미로움을 판단 (흔한 pattern은 버림)사용자가 지정한다: Query-based(사용자의 특정한 요청과 관련됨)누군가의 지식에 대해 판단: 예상치 않은, 새로운, 시의성(유행에 뒤지지 않은)... 2. Support-Confidence 기반의 한계(limitation)s와 c asso.. 공감수 2 댓글수 1 2024. 10. 2.
[데이터 마이닝] Pattern Mining: Methods (Apriori) 1. 효율적인 Pattern Mining 방법Frequent Patterns의 Downward Closure Property (하향 폐쇄.. 방법)The Apriori Algoritm확장(extensions) or 향상(Improvements) of Apriori 수직 데이터 포맷 탐색에 의한 frequent patterns miningFPGrowth: A Frequent Pattern-Growth ApproachMining Closed Patterns ... 2. The Apriori Algorithm (의사 코드)C_k: Candidate itemset of size k (item 갯수 k개인 후보 itemset)F_k: Frequent item set of size k (item 갯수 k개인 fr.. 공감수 2 댓글수 1 2024. 10. 1.
[데이터 마이닝] Pattern Mining: Basic Concepts 1. 패턴이란?- 데이터셋 안에서 빈번하게 발생하는 item들의 집합(set of items), 순서에 의미가 있는 것(subsequences), substructure ex) sequence의 예시: 코로나 감염 단계- 패턴은 datasets의 본질적이고 중요한 특성을 나타낸다. 2. 패턴 발견(pattern discovery)이란?- pattern discovery: 방대한 데이터 세트들로부터 패턴을 알아내는 것- 사람들이 종종 무슨 물건을 세트로 많이 구매하는지?, 아이패드를 산 후에 어떤 것을 구매하는 결과가 일어나는지? (subsequence) 에 대한 답을 할 수 있음. 3. 패턴 발견이 중요한 이유- 본질적인 데이터 마이닝 과제에 대한 기초가 됨. : association(연관성), co.. 공감수 1 댓글수 1 2024. 9. 27.
[데이터 과학책 정리] 5. RDBMS, SQL, etc에서 데이터 불러오기 SQL 이란? RDBMS에 저장된 데이터를 조작하고 쿼리(query)하기 위해 디자인된 간단한 컴퓨터 언어.많은 회사들이 데이터를 SQL을 사용하는 RDBMS에 저장한다고 한다.SQL을 제대로 연습하려면 RDBMS가 설치된 시스템을 찾고, 예제 데이터를 찾고, SQL 테이블을 CREATE TABLE 명령을 사용하여 설정하고, 데이터를 업로드 해야함.https://www.w3schools.com/sql/trysql.asp?filename=trysql_select_all SQL Tryit Editor v1.6WebSQL stores a Database locally, on the user's computer. Each user gets their own Database object. WebSQL is su.. 공감수 0 댓글수 0 2024. 8. 7.
[데이터 과학책 정리] 4. 변수 분석하기/데이터 요약 정보 확인 책에서는 names(boston) 그러나 내가 다루는 데이터에는 이미 변수명이 할당되어있어 이 과정이 따로 필요하진 않다.그런데 변수명이 뭔지는 짚고 가야할 것 같아서 변수명에 대해 알아보려고 한다.내가 다운받은 데이터는 uci 머신러닝 리포 사이트에 있는 'wine_quality" 라는 데이터다. 변수는 총 12개다. 1. 변수 분석하기 1. fixed.acidity: 비휘발성 산도, 와인과 관련된 대부분의 산2. volatile.acidity: 휘발성 산도. 와인에 함유된 아세트산의 양. 너무 높으면 불쾌한 식초맛이 남3. citric.acid: 구연산. 소량으로 발견되며, 와인에 풍미를 더할 수 있음.4. residual.sugar: 잔여 당분. 발표가 멈춘 후 남은 설탕의 양, 1g/L 미만의 와.. 공감수 0 댓글수 0 2024. 8. 6.
[데이터 과학책 정리] 3. R에서 data 불러오기 (csv 파일, 큰 외부 파일, 엑셀 파일) csv 파일이 가장 상세히 설명될 예정이다. 큰 외부 파일, 엑셀 파일 불러오는 방법은 아래에서 간단히 다루도록 하겠다. 1. 데이터 다운 구글에 'uci 머신러닝 리포'를 검색한 후 제일 상단에 뜨는 영어 사이트에 들어간다 데이터 다운 (필자는 실습용이지만 재밌어보이는 걸로 고름. 와인 품질 데이터 다운 받음)csv 파일 열어서 상태 확인해줌 (생각보다 예쁘게 정리 안되어있음)이 파일 자체를 고치진 말고 R에서 불러올 때 고쳐서 불러오면 된다.다음 단계에서 알아보도록 하자. 2. 데이터 잘 불러오기 R을 실행한다 > read.csv()와 read.table()로 사용할 수 있는데, read.csv()는 read.table() 함수를 실행하되 header=TRUE, sep="," 옵션이 기본.. 공감수 0 댓글수 0 2024. 8. 6.
[데이터 과학책 정리] 2. 데이터 과학자가 갖춰야 할 능력 1. 실제적인 문제를 통계적으로 표현2. 컴퓨터 도구를 사용하여 시각화와 데이터 가공과 모형화 하기3. 그를 이용하여 실제적인 언어로 의미있는 결과를 만들어내는 능력4. 협업 능력, 소통 능력(읽고 쓰기 중요)5. 인문학적 지식, 사회 전반에 관한 관심과 폭넓은 독서 (행동 심리학, 경제학, 기술서 등의 논픽션 양서) 공감수 0 댓글수 0 2024. 8. 1.
[데이터 과학책 정리] 1. 데이터 과학의 전반적인 과정 데이터 과학: 데이터를 사용하여 질문에 대한 합리적인 답을 내릴 수 있게 해주는 활동질문 ex) 병원 치료율을 높이는 방법은?, 비싼 와인이 더 맛있을까? 1. 문제 정의현실의 구체적인 문제를 명확하게 표현하고 통계적, 수리적 언어로 번역하는 작업ex) 어떤 변수들이 주택 가격을 결정 짓는지 알고자 할 때, 얼마나 안전한지, 상업지구인지, 학군이 좋은지, 가을 바라보는 전망 좋은 곳인지, 공장이 근처여서 공기가 좋지 않은지 등등의 변수를 고려해야 함.--> 문제 파악 후 수집해야 할 변수 정하기 2. 데이터 정의변수, 지표 등을 정의 3. 실험계획 or 표본화실험 계획: 실험/통제 집단을 어느 정도 크기로 정의할지를 정하는 것 같은 문제를 결정하는 분야표본화: 모집단을 대표하는 표본을 얻기 위한 것(.. 공감수 0 댓글수 0 2024. 8. 1.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.