1. 빅데이터 개요 및 활용 DIKW 피라미드 두음 : 데정식혜 : 데이터, 정보, 지식, 지혜 빅데이터 특징 두음 : 규다속신 가정휘 :규모, 다양성, 속도, 3V 가치, 4V 신뢰성, 5V 정확성, 휘발성 7V 빅데이터 유형 두음 : 정반비 정형데이터, 반 정형데이터, 비정형데이터 데이터 지식경영 상호작용 두음 : 암내공 형표연 암묵지 = 내면화, 공통화 형식지 = 표출화, 연결화 빅데이터 조직 구조 유형 두음 : 집기분 집중구조, 기능구조, 분산구조 조직 구조 설계 특성 두음 : 공분직통의 공식화, 분업화, 직무전문화, 통제범위, 의사소통 및 조정 BSC의 네가지 관점 두음 : 재고내학 재무,고객,내부프로세스,학습과성장 빅데이터 위기 요인 사생활 침해, 책임 원칙의 훼손, 데이터 오용 빅데이터 위기..
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 public Form1() { InitializeComponent(); DateTime start = new DateTime(2020, 02, 26, 12, 06, 00); // 시작 시간 DateTime end = new DateTime(2020, 02, 26, 12, 05, 00); // 종료 시간 TimeSpan spanStart = new TimeSpan(start.Day, start.Hour, start.Minute, start.Second, start.Millisecond); TimeSpan spanEnd = new TimeSpan(end.Day, end.Hour, end.Minute, ..
RabbitMQ 설치 절차 가. erlang설치 - http://www.erlang.org/downloads 에서 (OTP 22.2 Windows 64-bit Binary File 선택 후 파일다운 및 설치. 나. Rabbit MQ Windows버전 설치 - https://www.rabbitmq.com/download.html 에서 Windows선택 및 다운로드(rabbitmq-server-3.8.2) 다. Plug-In 설치 - [검색] 시스템 환경 변수 편집 - ELANG_HOME 환경변수 확인 - 이동 : C:\Program Files\RabbitMQ Server\rabbitmq_server-3.8.2\sbin - 커멘드 [관리자권한] 명령실행 : > rabbitmq-plugins.bat enabl..
카프카의 데이터 보관 주기는 기본적으로 7일로 설정되어 있다. 보관 주기를 수정하는 방법 2가지가 있으며, 수정할때도 용량단위, 시간단위, 일단위, 초단위로 구체적인 단위로 설정 가능하다. 방법1. server.properties 파일 수정 보관주기 옵션 항목 log.retention.bytes : byte 단위 기준으로 데이터 보관 log.retention.ms : 초 단위 기준으로 데이터 보관 log.retention.minutes : 분 단위 기준으로 데이터 보관 log.retention.hours : 시간 단위 기준으로 데이터 보관, 해당 옵션이 168으로 기본으로 적용되어 있음 server.properties 파일 확인 기본값은 168시간 = 7일로 설정되어 있음. 옵션 상세 내용 방법2. 토픽..
메시지 큐(Message Queue 이하 MQ)란 프로세스(프로그램) 간에 데이터를 교환할 때 사용하는 통신 방법 중에 하나로 더 큰 개념으로는 MOM(Message Oriented Middleware : 메시지 지향 미들웨어 이하 MOM)를 의미합니다. MOM이란 비동기 메시지를 사용하는 프로그램 간의 데이터 송수신을 의미하는데 MOM을 구현한 시스템을 MQ라고 합니다. MQ는 작업을 늦출 수 있는 유연성을 제공합니다. 메시지를 교환할 때 AMQP(Advanced Message Queuing Protocol 이하 AMQP)을 이용합니다. AMQP는 ISO 응용 계층의 MOM 표준으로 JMS(Java Message Service)와 비교되는데 JMS는 MOM를 자바에서 지원하는 표준 API입니다. JMS..
다양한 API들의 통합 - 닷넷 3.0에서 소개된 WPF는 다양했던 프로그래밍 모델을 하나로 합쳐 놓은 통합된 프로그래밍 모델 XAML을 통한 완벽한 UI의 분리 - UI를 XAML로 분리하여 프로그래밍 로직과 UI를 분리하여 디자이너와 프로그래머가 따로 작업이 가능 (XAML+C#) 최적화된 렌더링 모델 WPF의 다양한 옵션 기능 - 컨트롤 배치 관리 - 다양한 UI 개체 표현 - 스타일 엔진을 이용한 테마 정의 - 2D, 3D 그래픽, 비디오 오디오 기능 제공 - 다양한 API 지원 - 윈도우 폼, ActiveX, Win32, HWND 등 다른 GUI 객체들과 통합 지원 MVVM(Model-View-ViewModel)은 디자인 패턴으로 Model, View, ViewModel로 나눈 디자인 패턴으로 ..
1. http://grafana.com/get 사이트에서 Grafana를 다운로드 합니다. 2. 원하는 위치에 다운로드한 grafana를 압축 해제 합니다. 3. CMD 명령프롬프트를 실행 후 압축을 해제한 곳으로 이동 후 bin/폴더로 이동 후 grafana-server 명령어를 실행하면 grafana가 실행이 됩니다. 4. 브라우저를 실행 후 localhost:3000 으로 접속하면 아래와 같이 grafana 사이트가 열립니다. 최초 접속시 admin 계정의 비밀번호는 admin 입니다. 로그인을 하면 비밀번호를 변경할것이냐고 묻는데 이때 admin 비밀번호를 변경하면 됩니다.
내 IP 확인하기 샘플 코드 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 using System.Net.Sockets; IPHostEntry host = Dns.GetHostEntry(Dns.GetHostName()); public Main() { InitializeComponent(); foreach (IPAddress ip in host.AddressList) { if(ip.AddressFamily == AddressFamily.InterNetwork) { // 내 아이피 string MyIP = ip.ToString(); } } } Colored by Color Scripter cs
1. 분석 로드맵 설정 (1) 분석 로드맵 개념 - 단계별로 추진하고자 하는 목표를 명확히 정의하고, 선, 후행 단꼐를 고려해 단계별 추진내용을 정렬 (2) 분석 로드맵 단계 - 분석 로드맵 단계는 데이터 분석 체계 도입, 데이터 분석 유효성 검증, 데이터 분석 확산 및 고도화로 이루어짐 2. 분석 문제 정의 (1) 분석 문제의 의미 - 제약 조건을 파악하고, 잠재 원인을 진단하고 관련된 데이터를 수집, 가공, 분석하는 활동을 수행 (2) 하향식 접근 방식 ① 하향식 접근 방식(Top Down Approach) 개념 - 하향식 접근 방식은 분석 과제가 정해져 있고 이에 대한 해법을 찾기 위해 체계적으로 분석하는 방법 ② 하향식 접근 방식을 이용한 과제 발굴 절차 - 문제 탐색, 문제 정의, 해결방안 탐색..
1. 빅데이터 플랫폼 (1) 빅데이터 플랫폼(Bigdata Platform)의 개념 - 빅데이터에서 가치를 추출하기 위해 일련의 과정(수집->저장->처리->분석->시각화)을 규격화한 기술 (2) 빅데이터 플랫폼 구성요소 - 빅데이터 플랫폼은 크게 수집, 저장, 분석, 활용 단계로 구성 (3) 빅데이터 플랫폼 데이터 형식 - 빅데이터 플랫폼 데이터 형식은 대표적으로 HTML, XML, JSON, CSV가 있다. (4) 빅데이터 플랫폼 구축 소프트웨어 - 빅데이터 플랫폼 구축을 위한 주요 소프트웨어로는 R, 우지, 플럼, HBase, 스쿱이 있다. (5) 하둡 에코시스템(Hadoop Ecosystem) - 하둡 프레임워크를 이루고 있는 다양한 서브 프로젝트들의 모임 - 하둡 에코시스템은 수집, 저장, 처리 ..
빅데이터 개요 및 활용 빅데이터 특징 (1) 빅데이터(Big Data) 개념 - 빅데이터는 막대한 양(수십 테라바이트 이상)의 정형 및 비정형 데이터이다. DIKW 피라미드 피라미드 요소 설명 데이터(Data) - 객관적 사실로서 다른 데이터와의 상관관게가 없는 가공하기 전의 순수한 수치나 기호 정보(Information) - 가공 처리하여 데이터 간의 연관 관계와 함께 의미가 도출된 데이터 지식(Knowledge) - 획득된 다양한 정보를 구조화화여 유의미한 정보로 분류하고일반화시킨 결과물 - 정보에 기반해 찾아진 규칙 지혜(Wisdom) - 근본 원리에 대한 깊은 이해를 바탕으로 도출되는 창의적 아이디어 - 상황이나 맥락에 맞게 규칙을 적용하는 요소 (2) 빅데이터 특징 빅데이터는 전통적으로 3V(V..
빅데이터 분석기사 합격 기준 필기시험 합격 기준 과목당 100점 만점으로 1. 전과목 40점 이상 2. 전과목 평균 60점 이상 실기시험 합격 기준 100점 만점으로 60점 이상 (시험의 일부 과정을 응시하지 않은 경우 득점에 관계없이 불합격) 빅데이터 분석기사 출제 문항 과목별 주요 항목(필기) 필기과목명 문제수 주요항목 빅데이터 분석기획 20 빅데이터의 이해 데이터 분석 계획 데이터 수집 및 저장 계획 빅데이터 탐색 20 데이터 전처리 데이터 탐색 통계기법 이해 빅데이터 모델링 20 분석모형 설계 분석기법 적용 빅데이터 결과 해석 20 분석 모형 평가 및 개선 분석 결과 해석 및 활용 과목별 주요 항목(실기) 실기과목명 주요항목 빅데이터 분석실무 데이터 수집 작업 데이터 전처리 작업 데이터 모형 구축..
2020 정보처리기사 필기 3회를 원쿨에 그것도 꽤 넉넉하게 합격하여 2020 이전 정보처리기사 실기 시험은 쉬웠다는 소문도 있고 해서 합격률 5%? 15% 이런거에 별로 주눅들지 않고 건성 건성 공부 하였음.. 실기시험공부는 필기 시험과 마찬가지로 두목넷(www.dumok.net/) 으로 공부하였음 교재는 인터넷 강의에서 사용하는 교재인 수제비 2020 정보처리기사 실기 를 보고 공부하였음 개인적으로 필기는 두목넷을 추천하지만 실기는 두목넷을 그렇게 추천하지 않음.. 인터넷 강의로 공부하려면 개인적으로는 다른거를 더 추천함 그나마 장점이 있다면 실기 대비 모의고사 12회분을 제공해줘서 문제를 거의 외우는 수준으로 12회분 문제 싹다 풀고 틀린거는 다시 풀고를 계속 반복 하면서 외웠음 이 문제로는 조금 ..
2020 정보처리기사 필기 합격 후기 작성합니다.. 2016 대학교 졸업하고 학부 때는 각종 공모전 참가하고.. 취직 후에는 귀차니즘으로 따지 않고 있었음.. 그러다가 2020 초.. 정보처리기사 시험이 개편되면서 엄청 어려워 졌다는 소식을 듣고 급히 공부를 시작하게 됨.. 2020년 1회 실기 시험 결과를 보면 고시 수준으로 5%대 합격률을 볼수가 있음.. 필기 시험 준비는 두목넷(www.dumok.net) 두목넷 컴퓨터, 회계, 재경 자격증 합격의 모든것 두목넷 www.dumok.net 에서 인터넷 강의를 들으며 진행하였슴.. 필기 시험 같은 경우에는 2020년 이전 시험과 다르게 문제만 외우기 보다는 문제 기출 문제가 많이 없는 관계로 이론부터 인터넷 강의 들으면서 3주? 정도 하루에 1~2시간 많..
MSSQL SQL ServerAgent 사용은 일정 주기(분, 시간, 일, 월) 단위로 프로시저를 호출 할 때 많이 사용한다. ex) 데이터베이스 유지 관리를 위한 오래된 데이터 삭제 사용방법 1. 작업->새작업 선택 2. 일반->이름, 범주, 설명 입력 3. 단계 -> 새로 만들기->작업 단계 속성 일반 입력 작업 단계 속성 고급 입력 4. 일정-> 새로 만들기 -> 알람 일정 선택 후 확인 5. 작업 폴더 하위 아래 생성한 작업 확인 6. 작업 활동 모니터를 선택하여 확인
CREATE PROCEDURE 프로시저 명 AS BEGIN 쿼리내용 END
메시지 큐(Message Queue) 비교 1. 메시지 큐 개념 메시지 지향 미들웨어(Message Qriented Middleware:MOM)은 비동기 메시지를 사용하는 다른 응용프로그램 사이에서 데이터 송수신을 의미 2. 메시지 큐 장점 - 비동기(Asynchronous): Queue에 넣기 때문에 나중에 처리 가능 - 비동조(Decoupling): 애플리케이션과 분리 가능 - 탄력성(Resilience): 일부가 실패 시 전체에 영향을 받지 않음 - 과잉(Redundancy): 실패할 경우 재실행 가능 - 보증(Guarantees): 작업이 처리된걸 확인할 수 있음 - 확장성(Scalable): 다수의 프로세스들이 큐에 메시지를 보낼 수 있음 . Message Queueing은 대용량 데이터를 처리..
GitHub Project 생성 방법 Github 사이트 접속 및 회원 가입 URL: https://github.com/] GitHub 프로젝트 관리하기 지금까지 남의 프로젝트에 기여하는 법을 살펴보았고 이번에는 직접 프로젝트를 운영하는 법을 살펴보자. 프로젝트를 생성해서 관리하는 방식 말이다. 새 저장소 만들기 저장소를 새로 만들고 프로젝트 코드를 공유해 보자. 대시보드 오른쪽에 있는 “New repository” 버튼을 클릭하면 저장소를 만드는 폼으로 이동한다. 맨 위 툴바의 사용자이름 옆에 있는 + 버튼을 클릭해도 된다. 위 버튼을 누르면 “새 저장소” 를 만드는 화면으로 이동한다. 프로젝트 이름을 넣는 것만 필수다. 다른 것은 생략해도 된다. “Create Repository” 버튼을 클릭하면 G..
날짜와 시간의 처리¶ In [1]: # 초기화 ## 모듈을 가져온다. import pandas as pd import numpy as np from pandas import Series, DataFrame # 그래픽에 필요한 페키지와 라이브라리... import matplotlib as mpl import matplotlib.pyplot as plt import matplotlib.font_manager as fm %matplotlib inline ## 폰트지정.... plt.rcParams["font.family"] = 'NanumGothic' plt.rcParams["font.size"] = 18 # 폰트를 지정하면 그래프에서 마이너스 폰트가 깨져서 다음과 같이 셋팅 mpl.rcPara..
In [1]: #초기화 import pandas as pd from pandas import Series, DataFrame import numpy as np In [2]: %matplotlib inline 연산¶ 산술연산¶ 2013~2014년도 nc 선수기록을 DataFrame으로 로딩 한다. 이때 인덱스는 '선수명으로 지정 한다. 2014년도와 2015년도의 홈수 수 합계를 구한다. --> 색인 기반으로 연산 NaN에 대해 처리가 필요. In [3]: # 데이터를 읽을 파일 목록 만들기 경로목록 = [ 'data/NC Dinos 2013.xlsx', 'data/NC Dinos 2014.xlsx', 'data/NC Dinos 2015.xlsx' ] In [4]..
고급 문자열 처리¶ In [3]: ## 모듈 가져오기 import pandas as pd import numpy as np from pandas import Series, DataFrame # 그래픽에 필요힌 페키지와 라이브러리를 가져 온다. import matplotlib as mpl import matplotlib.pyplot as plt import matplotlib.font_manager as fm %matplotlib inline # 그래프에서 마이너스 폰트 깨지는 문제 해결 # (폰트를 지정하면 이러한 문제가 발생하기 때문에 아래 설정) mpl.rcParams['axes.unicode_minus'] = False 문자 인코딩 문제¶ - 읽기, 쓰기에서 맞는 인코딩을 사용해야 한..
영화 평점 데이터 분석¶ import pandas as pd import numpy as np 데이터 읽어오기.¶ 사용자 데이터: users 평점 데이터 : ratings 영화 데이터 : movies In [5]: ## users.dat 파일 컬럼(유저 정보 파일) : 유저id, 성별 ## pandas를 이용 읽어온다. '::' (구분자) ## 경고 문구에 따라 설정 변경 ==> engine='python' ## 첫 라인의 데이터가 열제목으로 자동 셋팅... 첫라인으로 데이터로 읽어와야 함. pd.read_csv('data/movielens/users.dat', sep='::', engine='python', header=None) Out[5]: 0 1 2 3 4 0 1 F 1 10 48067 1 2 M..
web 로그 분석¶데이터 : "data/usagov......txt"타임존 도수 agent 칼럼(a) 분석브라우즈 추출운영체제 확인시간대별 운영체제별 접속횟수 분석정렬접속 비율 분석.데이터 읽어오기¶In [1]: import pandas as pdimport json In [3]: 경로 = "data/usagov_bitly_data2012-03-16-1331923249.txt"with open(경로, encoding='utf-8') as f: records = [json.loads(line) for line in f]#DataFrame 로드 frame = pd.DataFrame(records)frame[:3] Out[3]: _heartbea..
인터넷에서 데이터 수집¶ 네이버에서 환전고시환율을 찾아서 데이터로 가공 수집 해보기 In [1]: # 패키지 임포트 import pandas as pd import numpy as np # 리퀘스트 모듈 import requests ## 아나콘다 설치시 BeautifulSoup 포함되어 설치. ## HTML 파싱을 위한 외부 모듈. from bs4 import BeautifulSoup 데이터 수집¶ https://finance.naver.com/ 접속해서 환전 고시 환율을 가져올거임. In [2]: #네이버 접속. res = requests.get("https://finance.naver.com/") ## 인코딩. res.encoding = "euc-kr" In [3]: ## 내용을 받아 온다. html..
웹 페이지 데이터를 복사 - 로딩 후 분석¶ In [1]: ## 라이브러리 로딩 import pandas as pd import numpy as np %matplotlib inline 데이터 로딩 : 클립보드¶ In [2]: # 클립보드에서 데이터 로딩 (naver의 환률 복사 로딩) --> 주의 인터넷익스플로러는 오류발생할 수 있다. # 웹 브라우저에서 네이버의 증권/업종별 시세 페이지로 이동 # 주소 : https://finance.naver.com/sise/sise_group.nhn?type=upjong # 게임 및 소프트웨어 종목을 찾아서 클릭 이동 # 게임 및 소프트웨어 종목 데이터 선택 후 복사 In [3]: 복사종목 = pd.read_clipboard() In [5]: 복사종목[:5] Out..
데이터 처리에 좀더 좋은 자료구조 사용하기(Numpy와 Pandas)¶ Numpy와 pandas는 Python의 내장 자료구조는 아니다. 페키지를 사용하기 위해서는 반드시 import가 필요하다. pandas는 내부적으로 Numpy의 ndarray자료구조를 사용 한다. In [1]: ## pandas와 numpy를 import하고 ## import pandas as pd ## import numpy as np ## %matplotlib inline 내장 자료구조를 이용한 연산¶ 내장 자료구조의 연산 방식은? In [3]: ## 리스트 생성 nums = [1,2,3] In [4]: nums * 2 Out[4]: [1, 2, 3, 1, 2, 3] In [5]: nums + nums Out[5]: [1, 2,..
주피터 노트북¶ 파이썬 코드를 대화형으로 편리하게 실행하는 도구¶ 셀에서 단축키¶ 실행 : shift + Enter 잘 실행되요. 두번째 단락 줄바꿈은 : Enter 문장....... In [1]: x = 5.0 print(x) print(x*2) 5.0 10.0 In [2]: x Out[2]: 5.0 In [3]: # 출력하기 print("hello 파이썬") hello 파이썬 파이썬 필수 문법¶ 1. 변수 타입 확인¶ In [4]: a = 5 type(a) Out[4]: int In [5]: a = "foo" type(a) Out[5]: str In [6]: a = 4.5 type(a) Out[6]: float 2. 연산¶ In [7]: # 연산은 동일한 타입끼리 해야 한다. a = 1 '5' + a..