서울 지하철역의 위치에 따른 역 사용자 수를 시각적으로 파악하려면 어떻게 해야 할까? 역의 위치 정보와 사용자 수 정보를 각각 획득한 후 ggmap을 통하여 분류하면 될 것 같다 우선 지하철 역의 주소를 찾아 보자 http://data.seoul.go.kr/dataList/datasetView.do?infId=OA-12035&srvType=A&serviceKind=1 불러오는 중입니다... 위 데이터를 불러온 후 역명, 호선, 주소를 가져온다 library(tidyverse) library(ggmap) lib..

as.Date보다 손쉽게 시간형 데이터를 관리할 수 있는 패키지다 기본 포맷 ## 시간형을 선언하지 않으면 문자열로 인식한다 > '2019-05-06' %>% str chr "2019-05-06" ## as.Date로 시간형으로 선언할 수 있다. > as.Date('2019-05-06') %>% str Date[1:1], format: "2019-05-06" ## 형식을 지키지 않으면 시간으로 인식하지 못한다 > as.Date('20190506') Error in charToDate(x) : 문자열이 표준서식을 따르지 않습니다 ## 순..

R에서 geocode를 사용하려면 Google Map API를 발급받고 별도의 코드를 입력해줘야 한다. 무료 모드일 경우 변환 횟수에도 사실상 제한이 있다. 구글 스프레드시트를 사용할 경우 보다 간편하게 주소를 위도와 경도로 변환할 수 있다. 구글 스프레드시트에서 문서를 생성한 후, 부가기능에서 부가기능 열기를 선택한다 부가기능 검색창에서 geocode를 입력 후 Geocode by Awesome Table을 선택한다 서울시 지하철역의 주소를..

요즘 공공 데이터로 다양한 자료들을 쉽게 접할 수 있다. 그 중에는 수치형 데이터 뿐 아니라 위치 기반형도 존재하는데, ggmap 패키지와 Google map API를 활용하면 R에서 간편하게 위치를 표시할 수 있다. 서울의 3개 프로구단이 홈구장으로 사용중인 고척 스카이돔과 잠실 야구장의 위치를 표시해 보자 Google Cloud Platform 하나의 계정으로 모든 Google 서비스를 Google Cloud Platform을 사용하려면 로그인하세요. acco..

서비스를 제공하는 쪽에서 웹 크롤링을 차단을 하거나, 데이터가 동적으로 변하는 경우 기존 방법 대신에 RSelenium을 사용하면 손쉽게 데이터를 수집할 수 있다. Selenium 설치 방법은 추후 업데이트 예정 library(RSelenium) library(rvest) library(tidyverse) remDR <- remoteDriver(remoteServerAddr = 'localhost', port = 4445L, browserName = 'chrome') remDR$open() remDR$navigate('http://naver.com') 위 명령어를..

우리가 흔히보는 자료 테이블은 wide 형태를 취하고 있다 데이터 전처리 작업을 하다 보면 wide를 long으로 변환하거나 반대의 경우가 필요하다 Tidyr의 gather와 spread를 활용하면 테이블의 형태를 wide와 long으로 손쉽게 변환이 가능하다 (엑셀에서는 pivot 작업 ) library(tidyverse) library(reshape2) fried <- french_fries %>% as.tibble fried fried.long <- fried %>% gather("taste","value", 5:9) fried.long fri..

항목 수량 사과 5 키위 16 미트볼 40 웹에서 위와 같은 테이블을 긁어오는 상황을 가정해 보자 read.table함수를 사용하면 테이블 그대로 긁어올 수 있다 html.table <- read.table(file = 'clipboard', header = T, sep = '\t') 테이블 형식으로 정확하게 데이터를 긁어오는 것을 알 수 있다 readClipboard 함수를 사용하면 클립보드에 있는 데이터를 바로 불러들일 수 있다 > readClipboard() [1] "항목\t수량" "사과\t5" "..

자신의 컴퓨터에 저장된 특정 폴더의 파일 리스트를 R로 가져오기를 해보자 이미지 파일 일괄 다운로드 받기 웹에서 규칙성 있게 배치되어 있는 이미지를 한 번에 받아보자 네이버 스포츠의 현장 사진집에는 수십장의 사진이 올라가 있다 손으로 하나씩 다운로드 하려면 상당히 번거로운 작업이 기다리고 있다 국내야구,.. aworklab.tistory.com 이미지 일괄 받기를 할 때 생성한 폴더와 파일로 진행해보자 이 폴더에는 52개의..

웹에서 규칙성 있게 배치되어 있는 이미지를 한 번에 받아보자 네이버 스포츠의 현장 사진집에는 수십장의 사진이 올라가 있다 손으로 하나씩 다운로드 하려면 상당히 번거로운 작업이 기다리고 있다 국내야구, 생생화보, 포토센터 : 네이버 스포츠 롯데! 이겼다! sports.news.naver.com 한 페이지에 20장 씩, 총 3페이지로 구성되어 있다 규칙성을 찾아 보자 https://sports.news.naver.com/photocenter/photoList.nhn?catego..

emart의 전국 매장 정보와 상태를 수집 점포찾기 > 메인 store.emart.com 매장 하나의 정보가 저장되는 node의 패턴은 아래와 같다 li:nth-child(5) 위 숫자가 1에서 399까지 존재한다 가장 많은 정보를 담고 있는 점포는 5개의 상황을 담고 있는 킨텍스점이다. 따라서 변수가 점포 이름을 포함하여 6개가 되어야 한다 #################################################### ## get function #############################..

야구 : 네이버 스포츠 스포츠의 시작과 끝! sports.news.naver.com 네이버 스포츠 뉴스의 야구란에서, 노출되어있는 주요뉴스 중에 20개의 URL을 수집 element inspector 구조를 파악하면 아래와 같은 속성을 확인할 수 있다 div.home_news>ul.home_news_list home_news라는 class의 하위에 home_news_list ul(목록)으로 하위 구조가 형성되어 있고 그 하위 구조에 a href로 url 링크가 존재한다 사용한 패키지 library(rvest..

RIDIBOOKS 최고의 eBook 서비스, 리디북스! 200만 권의 eBook, 특별반값 도서, 최신 베스트셀러에서 빌려보는 만화/판무/잡지, 내 문서파일 (PDF/TXT/ePub) 뷰어 기능까지! ridibooks.com 리디 북스의 월간 베스트 셀러 Top30을 수집 베스트 셀러는 [순위], [제목], [작가], [가격] 등의 정보가 기제되어 있다. 순위, 제목, 작가, 가격에 대하여 xpath 규칙성을 파악한다 # 순위 규칙 //*[@id="page_best"]/div[2]/div[2]/p //..

2019 Major League Baseball Season Summary | Baseball-Reference.com 2019 MLB Standings, Team and Player Statistics, Leaderboards, Award Winners, Trades, Minor Leagues, Fielding, Batting, Pitching, New Debuts www.baseball-reference.com MLB의 팀별 타자 정보를 데이터 형태로 가져와보자 팀별 타격 데이터는 테이블 형태로정리되어 있다 element inspector로 확인해보면 데이터 테이블의 id가 div_teams_stand..

일반 표현 기호 역할 예제 ^ 패턴의 시작 [ ... ] 문자의 범위 지정 { n } n개의 문자 n\d{3} : n위에 숫자가 3개 이상 {n, m} n &le;문자 갯수 &le;m { n, } n개 이상의 문자 ( ... ) 하나의 문자 인식 범위 * 이전 문자가 0 or &infin; n\d* : n뒤에 숫자가 0개 이상 + 이전 문자가 1개 이상 n\d+ : n뒤에 숫자가 1개 이상 ? 이전 문자가 0 or 1 apples? : s는 있을 수도 없을 수도 . 임의의 한문자 $ 패턴의 종료 (?!) 대소..

box <- sample(1:12) > box [1] 5 10 1 8 7 12 4 11 3 6 2 9 dim(box) <- c(3,4) > box [,1] [,2] [,3] [,4] [1,] 5 8 4 6 [2,] 10 7 11 2 [3,] 1 12 3 9 이미 생성되어 있는 벡터를 행렬 단위로 변환 dim(x) <- c(a, b) : a행 x b열의 크기를 가진 행렬로 변환 box2 <- sample(1:12) > box2 [1] 12 5 10 3 7 11 2 1 8 9 4 6 box2 <- matrix(box2, nrow = 3) > box2 [,1] [,2] [,3] [,4] [1,] 12 3 2 9 [2,] 5 7 1 4 [3,] 10 11..

조건문 if - else x <- 10 if(x > 1){ print("x > 1") }else{ print("x < 1") } 1] "x > 1" ifelse x <- 10 ifelse(x > 1, "X > 1", "X < 1") [1] "X > 1" 반복문 for x <- c(1:5) for( i in x){ print(i) } [1] 1 [1] 2 [1] 3 [1] 4 [1] 5 x <- c(1:10) for(i in x){ if(i >= 5){ print("x >= 5") } else { print("x < 5") } } [1] "x < 5" [1] "x < 5" [1] "x < 5" [1] "x < 5" [1] "x >= 5" [1] "x >= 5" [1] "x >= 5" [1] "..

목적 DSR 패키지에 포함된 데이터셋으로 정돈된 데이터 연습 다른 패키지와 tidyr의 함수 대응 관계는 아래와 같다 reshape2의 melt와 dcast는 tidyr의 gather와 spread로 대체 가능하다 tidyr gather spread reshape2 melt cast spreadsheets unpivot pivot databases fold unfold 사용한 패키지 library(tidyverse) library(DSR) TB를 포함한 table1~6에서 Spread와 Gather사용 > table1 # A tibble: 6 x 4 country year cas..

업무 컴퓨터를 옮기거나 포맷을 했을 때 항상 사용하던 프로그램을 다시 까는 번거로움을 한 번에 해결하는 법 Ninite - Install or Update Multiple Apps at Once As of February 14th, 2019 Ninite has ended support for Windows XP and Windows Vista as well as the related server platforms Server 2003 and Server 2008. You'll need to upgrade your Windows version to continue using Ninite. ninite.com 사용 방법..

엑셀로 그래프 찍어내기 힘들고 귀찮은데... 한 번에 괜찮은거 찍어내는 방법이 없을까? FastCharts.io fastcharts.io CSV, TSV 형식의 데이터를 입력 샘플 데이터

Data Visualiation의 필수 도구 기본 함수보다는 복잡하지만, 엑셀에도 구현하기 힘든 퀄리티와 복잡한 그래프를 순식간에 생성해 낸다 Create Elegant Data Visualisations Using the Grammar of Graphics A system for 'declaratively' creating graphics, based on "The Grammar of Graphics". You provide the data, tell 'ggplot2' how to map variables to aesthetics, what graphical primitives to use, and it takes c..

R 프로그램 설치 https://www.r-project.org R: The R Project for Statistical Computing The R Project for Statistical Computing Getting Started R is a free software environment for statistical computing and graphics. It compiles and runs on a wide variety of UNIX platforms, Windows and MacOS. To download R, please choose your preferred CRAN m www.r-project.org 1. R Project 사이트 접속 2. C-Ran &r..

결국 Left Join 인가

R에서 유명한 패키지 모음 내가 많이 쓰는 패키지들은 readxl : 엑셀 읽을려면 필수 fst : 기가 단위의 csv 읽고 쓰기의 신 rvest : 크롤링 필수 dplyr, tidyr, ggplot2, stringr = tidyverse : 신의 툴

채색은 구찮음...