Openly Data

공공데이터포털에서 '도서관'을 검색하면 결과가 수백 건 나옵니다. 그런데 목록을 보면 같은 도서관 정보인데도 어떤 것은 파일이고 어떤 것은 API이며, 어떤 것은 '표준데이터'라는 딱지가 붙어 있습니다.셋 중 무엇을 받아야 하는지는 데이터의 내용이 아니라 제공 방식이 정합니다. 그리고 이 셋은 목적이 서로 다릅니다.주소부터 다릅니다상세 페이지의 주소 끝을 보면 유형이 바로 갈립니다. 파일 데이터는 fileData.do, 오픈API는 openapi.do, 표준데이터는 standard.do로 끝납니다.사소해 보이지만 실제로 쓸모가 있습니다. 검색 결과 목록에서 링크를 눌러보기 전에 어느 유형인지 알 수 있고, 나중에 주소만 저장해 뒀을 때도 무엇이었는지 구분됩니다.셋의 성격 구분 파일 데이터 ..

데이터를 열어보니 값이 이상합니다. 폐업한 시설이 영업 중으로 남아 있거나, 좌표가 바다 한가운데를 가리키거나, 같은 항목인데 기관마다 표기가 다릅니다.이럴 때 대부분은 그냥 넘어갑니다. 내가 쓰는 부분만 고쳐서 쓰거나, 그 데이터를 버리고 다른 것을 찾습니다. 신고한다고 뭐가 달라질까 싶기 때문입니다.그런데 이 상황을 다루는 절차가 법에 있습니다. 두 가지인데, 성격이 완전히 다릅니다.오류 신고와 분쟁조정은 다릅니다먼저 구분해야 합니다. 데이터 값이 틀린 것과, 데이터를 아예 안 주는 것은 다른 문제입니다. 오류 신고 분쟁조정 대상 값이 틀렸거나 누락됐을 때 제공을 거부당하거나 중단됐을 때 창구 공공데이터포털 공공데이터제공분쟁조정위원회..

주소창에 요청 URL을 넣어 결과가 뜨는 것까지는 어렵지 않습니다. 손이 멈추는 곳은 그다음입니다. 그것을 매번 다시 돌릴 수 있는 코드로 옮기는 단계입니다.여기서는 파이썬으로 한 번 호출해 보고, 전체 목록을 받아오고, 파일로 저장하는 데까지 가 보겠습니다. 특정 API에 맞춘 코드가 아니라 대부분의 공공 오픈 API에 통하는 구조로 적었습니다.준비필요한 것은 두 가지입니다. 발급받은 인증키, 그리고 쓰려는 API의 기술문서입니다.기술문서에는 요청 주소와 파라미터 목록이 들어 있습니다. 이름이 조금씩 다르지만 대부분 다음 세 가지는 공통입니다.인증키 — serviceKey인 경우가 많습니다페이지 번호 — pageNo한 페이지당 건수 — numOfRows응답 형식을 고를 수 있는 API라면 JSON으로 ..

같은 공공데이터포털에서 받은 두 개의 파일인데, 하나는 매일 갱신되고 다른 하나는 1년에 한 번 갱신됩니다. 어떤 데이터는 갱신 주기가 '수시'라고만 적혀 있습니다.왜 통일하지 않을까요. 포털이 관리를 안 해서가 아니라, 갱신 주기가 데이터의 성격이 아니라 원천 업무의 성격을 따르기 때문입니다.데이터는 업무 시스템에서 나옵니다공공데이터는 개방을 위해 새로 만드는 것이 아닙니다. 기관이 원래 업무를 처리하면서 쌓아온 정보를 밖으로 내보내는 것입니다.그래서 갱신 주기는 그 업무가 얼마나 자주 발생하는지, 그리고 그 결과가 언제 정리되는지를 그대로 반영합니다. 주기 이런 업무에서 나옵니다 실시간·일 측정 장비가 값을 계속 만들어내는 경우. 대기질, 교통 상황 주·월..

공공데이터는 무료로 공개되어 있고 출처도 명확합니다. 그래서 처음에는 내려받아서 바로 쓰면 될 것 같습니다. 그런데 실제로 열어보면 예상과 다른 지점에서 막힙니다.데이터가 잘못된 것은 아닙니다. 여러 기관이 각자의 업무 기준으로 관리하던 정보를 개방한 것이라, 하나의 통일된 규격으로 정리되어 있지 않을 뿐입니다. 이 성격을 모르고 접근하면 원인을 찾는 데 시간을 많이 씁니다.공공데이터를 다루면서 반복적으로 만나게 되는 문제 다섯 가지와 대응 방법을 정리했습니다.1. 좌표계가 데이터마다 다릅니다증상 — 위도·경도 컬럼이 있길래 지도에 찍었는데 엉뚱한 곳에 표시되거나, 값이 37.5가 아니라 195832.4 같은 큰 숫자로 들어 있습니다.원인 — 국내 공공데이터는 여러 좌표계를 혼용합니다. 대표적으로 다음과..

공공데이터포털에는 수만 건의 데이터가 공개되어 있습니다. 그런데 막상 프로그램에서 가져다 쓰려고 하면 첫 관문에서 막히는 경우가 많습니다. 인증키를 어디서 받는지, 왜 두 종류인지, 신청했는데 왜 바로 안 되는지가 한 번에 정리되어 있지 않기 때문입니다.이 글은 회원가입부터 첫 호출이 성공할 때까지의 과정을 순서대로 정리한 것입니다. 처음 만나게 되는 오류와 그 원인도 함께 다룹니다.전체 흐름먼저 큰 그림을 잡고 시작하는 편이 좋습니다. 공공데이터포털 회원가입 필요한 데이터 검색 해당 데이터에 활용신청 인증키 확인 후 호출여기서 가장 많이 오해하는 부분은 인증키를 따로 신청하는 절차가 없다는 점입니다. 특정 데이터에 활용신청을 하면 그 과정에서 인증키가 발급됩니다. 계정당 하나의 인증키를 받고, ..