공공데이터 갱신 주기

같은 공공데이터포털에서 받은 두 개의 파일인데, 하나는 매일 갱신되고 다른 하나는 1년에 한 번 갱신됩니다. 어떤 데이터는 갱신 주기가 '수시'라고만 적혀 있습니다.

왜 통일하지 않을까요. 포털이 관리를 안 해서가 아니라, 갱신 주기가 데이터의 성격이 아니라 원천 업무의 성격을 따르기 때문입니다.

데이터는 업무 시스템에서 나옵니다

공공데이터는 개방을 위해 새로 만드는 것이 아닙니다. 기관이 원래 업무를 처리하면서 쌓아온 정보를 밖으로 내보내는 것입니다.

그래서 갱신 주기는 그 업무가 얼마나 자주 발생하는지, 그리고 그 결과가 언제 정리되는지를 그대로 반영합니다.

주기	이런 업무에서 나옵니다
실시간·일	측정 장비가 값을 계속 만들어내는 경우. 대기질, 교통 상황
주·월	인허가·등록 신고가 수시로 들어오고 주기적으로 취합하는 경우
분기·연	통계 작성이나 실태 조사처럼 별도 절차를 거치는 경우
수시·비정기	변경 사건이 생길 때만 반영하는 경우

시설 등록 정보가 월 단위인 것은 등록·폐업 신고가 접수되고 담당 부서에서 처리되어 시스템에 반영되기까지 시간이 필요하기 때문입니다. 반대로 측정소 데이터가 시간 단위인 것은 장비가 그 주기로 값을 뱉기 때문입니다.

표기된 주기와 실제 갱신은 다릅니다

여기서 실무적으로 중요한 지점이 나옵니다. 메타 정보에 '월 1회'라고 적혀 있어도, 그것은 그 주기로 갱신하겠다는 계획입니다.

실제로는 두 달째 같은 파일이 올라와 있는 경우가 있습니다. 갱신할 변경 사항이 없었을 수도 있고, 담당자 사정으로 밀렸을 수도 있습니다. 어느 쪽인지는 밖에서 알기 어렵습니다.

그래서 자동 수집을 돌린다면 주기를 믿고 스케줄만 맞추는 것보다, 받아온 파일이 이전 것과 같은지 비교하는 절차를 두는 편이 안전합니다. 파일 해시를 비교하거나 행 수와 기준일자를 대조하면 됩니다.

날짜 항목이 세 가지입니다

데이터를 열면 날짜처럼 보이는 항목이 여럿 나옵니다. 서로 다른 것을 가리킵니다.

• 데이터 기준일자 — 이 데이터가 어느 시점의 상태를 담고 있는지
• 수정일 / 최종수정일 — 개별 레코드가 마지막으로 바뀐 날
• 등록일 — 그 레코드가 처음 만들어진 날

분석에 써야 하는 것은 대개 기준일자입니다. 수정일은 레코드마다 다르므로 데이터 전체의 신선도를 나타내지 않습니다. 등록일을 갱신 시점으로 오해하면 오래된 데이터를 최신으로 착각하게 됩니다.

기준일자가 제공되지 않는 데이터라면 내려받은 날짜를 따로 기록해 두는 것이 최소한의 대비입니다.

주기가 다른 데이터를 합칠 때

서로 다른 주기의 데이터를 조인하면 어느 쪽 시점을 따를지 정해야 합니다.

예를 들어 월 단위로 갱신되는 시설 목록과 연 단위로 갱신되는 통계를 붙이면, 결과물의 신선도는 느린 쪽을 따릅니다. 시설 목록이 어제 갱신됐더라도 통계가 작년 것이면 전체가 작년 기준입니다.

이럴 때는 결과에 두 시점을 모두 표시하는 편이 정직합니다. 하나로 뭉뚱그리면 나중에 어느 부분이 오래됐는지 추적할 수 없습니다.

주기가 짧다고 최신인 것은 아닙니다

갱신 주기와 데이터의 신선도는 다른 개념입니다.

일 단위로 갱신되는 시설 목록이 있다고 해봅시다. 매일 파일이 새로 올라오지만, 그 파일에 담긴 폐업 정보는 신고가 접수되고 처리된 것들입니다. 어제 문을 닫은 가게가 오늘 파일에서 빠지지는 않습니다. 신고와 처리에 걸리는 시간은 갱신 주기와 무관하게 존재합니다.

그래서 데이터가 현실을 얼마나 빨리 따라잡는지는 두 가지의 합으로 봐야 합니다. 현실의 변화가 행정 시스템에 기록되기까지 걸리는 시간과, 그 기록이 개방 데이터로 나오기까지의 주기입니다.

앞쪽은 밖에서 알기 어렵고, 뒤쪽만 메타 정보에 표시됩니다. 일 단위 갱신이라는 표기를 보고 어제까지의 현실이 반영돼 있다고 읽으면 어긋납니다.

어떻게 확인하나

공공데이터포털의 데이터 상세 페이지에는 갱신 주기, 최종 수정일, 제공 기관이 함께 표시됩니다. 오픈 API라면 기술문서에 제공 주기가 명시되어 있는 경우가 많습니다.

표기와 실제가 맞는지 궁금하다면 몇 주에 걸쳐 두세 번 받아보고 변화를 보면 대략 알 수 있습니다. 갱신 이력이 표시되는 데이터도 있습니다.

내 수집 주기는 어떻게 정하나

원본이 월 1회 갱신되는데 매일 받아오면 같은 파일을 서른 번 내려받게 됩니다. 호출 한도만 소모하고 얻는 것이 없습니다.

기준을 하나 두면 편합니다. 원본 주기보다 조금 촘촘하게, 그러나 배수로는 벌리지 않게입니다. 월 단위 데이터라면 주 1회 정도가 무난합니다. 갱신이 며칠 밀리더라도 한 주 안에 잡히고, 헛걸음도 네 번을 넘지 않습니다.

여기에 변경 감지를 붙이면 더 깔끔해집니다. 받아온 파일이 이전과 같으면 저장하지 않고 넘어가는 방식입니다. 이렇게 하면 저장소에는 실제로 바뀐 시점의 스냅샷만 남고, 나중에 이 목록만 봐도 그 데이터가 실제로 얼마나 자주 갱신되는지 알 수 있습니다.

표기된 주기를 믿는 대신 직접 관찰한 이력을 갖게 되는 셈입니다.

자주 묻는 질문

Q. 갱신 주기가 '수시'인 데이터는 얼마나 자주 바뀌나요?
정해진 간격이 없다는 뜻이라 사전에 알기 어렵습니다. 변경 사건이 생길 때만 반영되므로, 몇 달간 그대로일 수도 있고 한 주에 여러 번 바뀔 수도 있습니다. 주기적으로 확인해 보는 수밖에 없습니다.

Q. 갱신이 안 되고 있는 것 같은데 어디에 문의하나요?
데이터를 관리하는 주체는 포털이 아니라 제공 기관입니다. 해당 데이터 상세 페이지에 담당 부서와 연락처가 표시되므로 그쪽으로 문의하는 편이 빠릅니다.

---

자료 출처 · 공공데이터포털 데이터 상세 정보 및 이용 안내
갱신 정책은 제공 기관과 데이터에 따라 다르며, 표기된 주기는 계획값입니다.