반경 100메터 여부? – 버퍼 계산 (Buffer) 사용기

며칠전 태블로 2020.1이 발표되었습니다. 이번에도 역시 기대를 저버리지 않고 재미 있는 기능이 많이 추가 되었습니다. 이 링크를 눌러 기능을 확인해보시기 바랍니다. https://www.tableau.com/ko-kr/2020-1-features

제 눈에 띄는 기능 몇 가지를 보면 1) 로그인 기반의 라이선스 관리 2) 버퍼 계산 3) 태블로 퍼블릭 익스텐션 지원 4) 브라우저 재생 버튼 등이 눈에 띄는군요.

2020.1에서 근접성과 거리를 이해하는 것이 강화 되었는데 바로 버퍼 계산입니다. 위치, 거리 및 측정단위의 세 파라미터를 지정하면 버퍼 혹은 경계가 쉽게 만들어집니다.

버퍼의 첫번째 인수는 GEOMETRY라는 것을 볼 수 있는데요, 따라서 위경도 값을 그대로 넣으면 안되고 지리적 지점을 만들어야 합니다.

MAKEPOINT([위도], [경도]) 이런식으로 지점을 정하면 되겠습니다. 태블로의 기본 좌표계는 WGS84좌표계이고 세번째 인수는 SRID로서 ESPG 기준계 고트들 사용하여 좌표계를 지정하는 공간 참조 식별자 입니다. 미지정시는 WGS84로 인식을 하게 되고 경찰 등에서 사용하는 UTM좌표계의 경우 5179를 넣으면 될 것입니다. (추가 확인해서 기술하겠음) [태블로 매뉴얼]

버퍼 함수의 두번째 인수는 거리 숫자이고 세번재 인수는 단위이니 이해하는데 큰 문제 없어보입니다.

실제로 제가 이 기능이 반가왔던 것은 해결이 어려웠던 여러 케이스가 생각나서 입니다. 아마 환경관련 연구소 였던 것으로 기억하는데 상수원으로부터 몇백 미터 이내에 있는 공장을 표시해주기를 원했습니다. 다른 하나는 학교로부터 수백미터 이내에 유해시설이 들어오면 안되는데 그것을 표현하기를 원했습니다. 이 이런 것들이 해결 가능해졌습니다.

실제 구현을 위해서 공장데이터를 한번 찾아보았습니다. 구글링 만으로도 많은 공장 목록이 보이네요. 최근 데이터 개방 및 여러 빅데이터 사업의 효과라 생각됩니다.

맨 아래 공장등록 현황을 클릭해보겠습니다. 경기도 내 공장등록 현황볼 수 있는 화면입니다.

우측 하단의 csv를 다운받아보겠습니다. xls도 문제 없을 듯 합니다. 편의를 위해서 [여기]를 누르면 다운로드 되도록 준비했습니다.

이제 태블로 2020.1에서 불러들이겠습니다. 많은 칼럼들이 로딩됩니다. 저는 위치정보가 있는 파일을 로딩하게 되면 제일 처음 확인하는 것이 주소가 제대로 있는가 하고 위경도가 포함되어 있는가 입니다.

살펴보니 주소는 제대로 들어와 있기는 하지만 시도 혹은 시군구 구분이 안되어 있어서 간단한 계산식으로 시도와 시군구를 만들어 주었습니다. 이 방법이 주소가 있는 경우 거의 필수이다시피 꽤나 유용한데 그 내용에 대해서는 아래 링크를 참고하시기 바랍니다. 이번 경우는 워낙에 데이터가 많아서 특정 시군구에 대한 필터가 필요해서 준비를 합니다.

http://dgtnmd.net/2020/02/28/%ec%a3%bc%ec%86%8c%eb%a7%8c%ec%9c%bc%eb%a1%9c-%ec%8b%9c%eb%8f%84-%ec%8b%9c%ea%b5%b0%ea%b5%ac-%ec%b9%bc%eb%9f%bc-%eb%a7%8c%eb%93%a4%ea%b8%b0/

칼럼들을 점검하여 위경도를 더불클릭한 후 주소를 고려해준 다음 여주시로 필터링한 화면입니다. 태블로를 사용하시는 분들은 그림만 보고 금방 이해가 가실겁니다.

그림을 보시면 중앙에 흐르는 강이 남한강이라고 나오네요. 남한강으로 부터 가깝게 위치한 공장들도 제법 보입니다. 이제 버퍼 함수를 사용하여 범위선(버퍼)를 그렸을 때 강에 닿는 공장이 있는지 살펴보겠습니다.

먼저 버퍼함수의 첫번째 인자는 geometry라고 나오고 있으므로 기존의 위경도를 가지고 먼저 포인트를 만들어 줍니다. 아래 계산식을 참조하시기 바랍니다.

이제 포인트가 준비되었으니 버퍼를 정의합니다.

두번째 인수는 거리이고, 그 다음은 단위인데 “M”으로서 메터를 표시했습니다. 거리는 단순 숫자를 넣어도 되지만 파라미터로 조절해보는 것도 나쁘지 않을것 같아 파라미를 하나 정의하고 마무리 하겠습니다.

M이라는 메터 파라미터를 지정하는 그림입니다.

자 이제 포인트도 정의하고 M이라는 파라미터도 만들어 버퍼를 정의하였습니다. 이것을 표시해야할텐데요, 공장의 위치 또한 표시되어야 하기 때문에 그 점은 그대로 두고 이중축기능으로 지도를 두벌 만들겠습니다. 컨트롤을 누른채로 경도나 위도를 옆으로 끌게 되면 새로운 경도나 위도가 생기게 됩니다.


중앙을 보시면 재도가 동일한 것이 두개 보이고 좌측에 보면 카드셋도 두벌이 된 것을 알 수 있습니다. 이제 한 층은 공장위치표시, 그리고 한 층은 버퍼로 만들어 보겠습니다. 두번째 카드셋에서 주소 대신 버퍼를 올려보겠습니다.

이제 두 레이어를 합치고 다듬으면 되는데요 자세한 설명은 실제 파일을 만져보시기 바랍니다. 혹시 점과 버퍼가 순서가 뒤바뀐 경우에는 행 선반에 있는 위도 요소를 맞바꾸시면 되고요, 버퍼의 색상이 너무 진하면 아래와 같이 불투명도를 낮춰주고 경계선의 색생도 없애시면 됩니다.

이제 파라미터를 움직여보면 주황색으로 표시되는 버퍼의 범위가 늘어나고 줄어드는 것을 볼 수 있습니다.

사용해보면서 이 기능의 한계는 태블로는 어디까지나 시각적 분석 툴이고, GIS엔진은 아니기 때문에 버퍼가 강을 침범하는 지 여부는 눈으로만 판단해야 하는 한계가 있네요. 그래도 그 사실들을 시각적으로 간단하게 표현할 수 있는 기능이 나왔으니 무척유용하게 사용할 듯 합니다.

여기를 클릭하시면 태블로

아래의 태블로 퍼블릭 임베딩 화면을 살펴보시기 바라고요, 우측 하단의 다운로드 버튼을 눌러서 다운로드 받아서 살펴보셔도 됩니다.

https://public.tableau.com/views/17590/sheet0?:display_count=y&publish=yes&:origin=viz_share_link

 837 total views

주소로 위경도 읽어오기 (지오코딩, geocoading)

우리가 데이터를 받을 때 위경도가 딸려오지 않는 경우가 많이 있습니다. 주소 만이라도 온전히 확보된 것이라도 감사해야 할 경우 인데요. 이 주소 목록만을 가지고 위경도를 가져오는 지오코딩 방법을 공유하겠습니다.

지오코딩에는 많은 방법이 알려져 있습니다만 여기에서는 제가 가장 가벼운 마음으로 즐겨쓰는 구글 AWESOME TABLE를 이용해보겠습니다. 일반 지메일 기능이나 구글 지스윗(업무용 지메일) 의 드라이브 기능으로 있는 스프레드시트의 애드온 기능입니다.

주소 데이터의 확보

먼저 드라이브로 이동하여 새 문서-구글 시트 – 빈시트만들기를 선택하여 문서를 하나 만듭니다.

헤더명은 “주소”로 하겠습니다. 주소가 아닌 다른 칼럼 이름도 관계 없습니다. 칼럼에는 변환할 주소를 준비해줍니다. 필요하면 구글링등을 통해 “주소록” 검색하시면 전국 유치원 주소록이라던가 쓸만한 주소록을 구할 수 있습니다.

변환할 주소정보가 따로 준비되어 있지 않고 샘플로도 충분하신 분은 아래 링크에 들어가셔서 파일-사본만들기를 눌러 사본을 준비하시기 바랍니다. 문서가 카피되어 본인 소유 의 문서로 생성됩니다.

https://docs.google.com/spreadsheets/d/14XKOoJexKJd2sTi42QMA2PjELOtOpXSHil08YkV4i4w/edit#gid=0

이 데이터는 제가 아는 어떤 조직의 주소록인데 동호수를 전부 삭제한 것입니다. 주소를 살펴보면서 새삼스럽게 느낀 것은 공동주택이 압도적으로 많다는 점입니다. 거의 대부분의주소가 아파트 아니면 빌라네요. 개인 주택으로 보이는 주소는 한손으로 꼽을 정도입니다.

구글 스프레드시트와 AWESOME TABLE

이제 데이터가 준비되었으니 사용할 연장을 확인해야 하겠습니다. 위 메뉴에서 부가기능을 눌러보세요. AWESOME TABLE이 보이면 넘어가시고, 안보이면 설치되어 있지 않다는 이야기이니 [부가기능 설치하기]만 보이면 그것을 눌러줍니다.

GEOCODE BY AWESOME TABLE 이미지 검색결과

AWESOME TABLE로 검색을 해보면 아래와 같은 목록이 보이는데 첫 앱을 선택해줍니다.

[설치]를 눌러서 구글 시트에서 사용할 수 있도록 설치합니다. 앱에 기능이 추가되는 것이니 별도의 설치 동작 등은 없고 권한 확인 및 인증 등을 확인하게 됩니다.

이제 [부가기능]으로 가서 [Geocode by Awesome Table]-[Start Geocoading]을 선택합니다. 아마 그 아래의 [Geocode on form submit]는 구글 폼 등을 통해서 자료를 자동수집할 경우 자동으로 데이터가 들어올 때 마다 주소를 위경도로 변환해주는 기능인 듯 합니다. 이 기능에 대해서는 별도 포스팅해보겠습니다.

주소의 변환 (Geo Coading)

[Start Geocoading]을 누르게 되면 아래와 같이 우측창이 나타나게 됩니다. 시트명은 그대로 사용하시면 되고, Address column을 지정해주면 됩니다. “주소” 혹은 다른 칼럼 명을 지정하면 됩니다. 그리고는 [Geocode!]를 눌러주면 됩니다.

Langitude, Longitude 칼럼이 자동으로 생기고 자동으로 주소 변환을 해줍니다. 50개 변환하는데 1분도 채 안걸린 듯 합니다. 저는 개인적으로는 자료가 많은 경우 몇천개씩 잘라서 별도의 시트에 붙여서 동시에 변환한 경우도 있습니다. 이렇게도 잘 동작됩니다.

오류의 보정

이 기능이 예전에는 오류율이 많았었는데 최근에는 편안하게 다른 분들에게 추천드릴 정도로 오류율이 상당히 개선되었습니다. 어찌되었건 오류가 나는 경우가 없지는 않은데요. 주소변환 오류가 발생한 경우 다시 한번 주소를 확인한 다음 구글맵으로 갑니다. http://map.google.com

google map 이미지 검색결과

검색창에 주소를 붙여넣기하고 검색을 눌러주면 위치가 나타나게 됩니다. 이 때 주소창을 보시면 @다음에 숫자가 이어진 부분이 있는데 이것이 바로 위경도 입니다. 맨 앞이 위도, 슬래시 다음이 경도, 그 다음이 zoom level (확대 수준) 입니다. z17이면 17단계까지 확대한 상태라는 겁니다.

하나 하나 이 숫자를 복제하는 것도 방법이지만 이 숫자를 더블클릭하시면 위경도와17z 까지 전부 선택됩니다. 이것을 복사합니다.

이것을 구글시트 해당 주소줄 맨 오른쪽에 붙여줍니다. 이와 같은 동작을 다른 오류난 주소들에도 반복해줍니다. 주소의 수동 검색이 끝났으며 이제 이것을 위경도 칼럼에 넣어주어야 하는데 먼저 쉼표로 이어진 텍스트를 각각 분리해야 합니다.

구글시트에는 [데이터]-[텍스트를 열로변환] 기능이 있습니다. 먼저 칼럼을 선택하고 이 기능을 실행하면 아래 그림과 같이 위도, 경도, z level 세 칼럼으로 나눠줍니다. 이렇게 나눠진 앞의 두 칼럼을 복사해서 왼쪽의 위경도 창에 붙여넣으면 됩니다.

이렇게 변환된 주소들은 맵에도 바로 표시할 수 있습니다. [Open map]을 선택하면 아래와 같은 지도가 나옵니다.

마무리

저는 태블로에서 변환된 위경도 주소를 활용할 계획이므로 이쯤에서 마무리하겠습니다. 참고로 이 기능은 일일 사용제한량이 있어서 수만~수십만개의 데이터를 변환하는데는 적절하지 않아보입니다. 대량 주소 변환에 대해서는 좋은 프로그램들이 좀 있다는데요 다음 기회에 추가 포스팅을 할 기회가 있을 듯 합니다.

 1,771 total views

주소만으로 시도/시군구 칼럼 만들기

데이터로서 주소만 확보된 경우 여러가지 추가 가공을 하면 그 데이터를 여러 용도로 활용가능합니다. 주소로 위경도를 가져오는 방법은 아래의 링크를 참고하시기 바랍니다.

http://dgtnmd.net/2020/02/28/%ec%a3%bc%ec%86%8c%eb%a1%9c-%ec%9c%84%ea%b2%bd%eb%8f%84-%ec%9d%bd%ec%96%b4%ec%98%a4%ea%b8%b0/

그 다음으로 많이 필요한 기능이 시도와 시군구를 구분하는 일입니다. 아시다시피 태블로에서는 국가, 시도, 시군구 데이터에 대해서는 geographical role을 부여하여 지도를 그리거나 필터를 걸 때 매우 유용하게 사용됩니다.

사용자 정의 split를 사용하여 3칼럼을 분리합니다. 제대로 정제된 데이터를 사용하셨다면 첫번째 칼럼은 무조건 시/도입니다. 이것은 큰 이슈가 없습니다. 첫 칼럼의 명칭을 시도로 하신 다음 geographical role을 시/도로 부여합니다.

문제는 두번째, 세번째 칼럼입니다. 서울시 강남구를 보면 두번째가 구로 끝나서 “시/군/구”에 해당하는 것이 맞는데 경기도 성남시 분당구를 보면 두번째 칼럼은 시로 끝나고 세번째 칼럼은 구로 끝나고 있지요.

실은 두번째 칼럼은 기초광역자치단체에 해당 합니다. 서울의 강남구 의회가 있드시 경기도는 성남시 의회가 있습니다. 성남시에는 분당구, 수정구, 복정구의 세가지 일반구가 있습니다.

기초지자체를 시군구로 정의하려 사용하시려면 split한 두번째 칼럼을 그대로 사용하시면 되고요, 우리가 실생활에서 사용하는 일반구를 사용하려면 아래의 계산식이 필요합니다. 기계적인 판단이 아닌 하고자 하는 일의 용도에 따른 선택을 하셔야 합니다.

이때 시군구를 성남시 분당구의 일반구로 구별을 하고자 하면 시군구는 “성남시 분당구”가 될 것입니다. 다행히도 태블로는 “성남시 분당구”를 알아듣습니다.

위와 같이 구현하려면 세번째 split칼럼을 살펴봐야 하는데 오랜 경험의 결과 지자체급 시군구와 일반시군구의 구분은 세번째 칼럼의 마지막 글자가 “구”로 끝나는 경우가 100%였습니다. 따라서 칼럼2와 칼럼3를 엮어서 아래와 같은 계산식을 정의하면 유용하게 사용 가능합니다.

IF RIGHT([주소3], 1) = "구"  THEN 
     [주소2] + " " + [주소3]
 ELSE
     [주소2]
 END

이렇게 정의된 칼럼은 “시군구”로 이름을 변경하시면 되고 geograhpical role 또한 “시군구” 혹은 “county”로 정의를 하시면 되겠습니다.

실습을 위한 샘플 링크는 아래의 구글 스프레드시트를 참고하세요. 인터넷에서 구한 주소록에 동호수를 전부 없앤 데이터입니다. 이 주소들을 보니 정말 아파트나 빌라 등 공동주택에 살고 계시는 분이 많긴 많네요.

권한요청주시는 분이 가끔있어서 사용방법을 말씀드리면, 지메일 계정으로 로긴하여 사본만들기해서 사용하시면 됩니다. 제가 수정권한까지는 드릴 수 없어서요.

https://docs.google.com/spreadsheets/d/14XKOoJexKJd2sTi42QMA2PjELOtOpXSHil08YkV4i4w/edit#gid=0

이것을 태블로에서 불러들입니다.

사용자 지정 분할을 해야 하는데 구분기호는 스페이스로 분할 해제는 첫번째 3열을 선택하세요.


주소-분할 1~3의 칼럼이 보이는데 주소1은 시도로 변경해주시고, 나머지는 주소2, 주소3으로 이름을 바꿔줍니다. 여러번 쓸 이름은 아니지만 계산식 입력시 혼동이 되므로 변경을 권합니다.

시도는 시/도로 (영문인 경우 states)로 지리적 역할을 부여합니다.



계산식을 하나 만들어 시군구로 명명하고 아래의 계산식을 넣어줍니다.

IF RIGHT([주소3], 1) = "구"  THEN 
     [주소2] + " " + [주소3]
 ELSE
     [주소2]
 END

주소2, 주소3은 이제 필요 없으니 숨겨주면 됩니다. 깔끔하게 시도, 시군구 칼럼이 준비된 것을 볼 수 있습니다.

혹시라도 아래와 같은 “알 수 없음” 표시가 나타나면 내용을 살펴보면 되는데요

행정 폐지된 부천시 소사구 및 원미구

아시는 분도 있을텐데 부천시의 소사구 원미구는 행정구역이 없어졌기 때문에 단순히 부천시로 변경하여 지정하면 됩니다. 부천시 혹은 부 만 타이핑시 추천 지명이 뜨면 편리할텐데요 태블로에서는 글자를 치고 아래 화살표를 누르면 아래와 같이 추천 지명이뜹니다.

부천시로 수정하여 지정하여 마무리합니다.

우측의 시도명을 보면 서울시, 서울특별시, 인천, 인천광역시,인천시 등 여러 이름으로 나타나는데요. 이것들은 geographical group으로 묶어서 사용 가능합니다.

 953 total views

TABLEAU GIS기능을 이용한 지리정보 활용

서울시 각구와 동을 표시한 태블로 지도. 구는 특성 색을 가지고 동은 해당 색 중에서 명암을 가지게 됨

디노입니다. 태블로 GIS관련 내용들은 아래와 같은 내용으로 글쓰기를 진행하려고 생각하고 있습니다. 저 혼자 미루고 포기하는 게으름을 멀리하기 위해 목차를 먼저 공개합니다. 내용 적인 측면에서도 큰틀을 잡고 진행하면서 많이 다듬고 많이 수정할 것입니다.

전체적인 틀은 기존에 공유했던 세미나 자료의 내용을 근간으로 할 것입니다. 이 내용 또한 태블로의 GIS관련 매뉴얼이나 각종 구글링을 통해서 실질적으로 필드에서 필요한 것들을 정리한 것입니다.

http://dgtnmd.net/2020/02/25/bisic-gis-info-visualization/

혹시라도 업무에서 먼저 필요하다거나 추가가 필요한 내용 알려주시면 순서를 조정해보겠습니다. 유용한 내용들이 될 수 있도록 많은 격려와 질책 부탁드립니다.

 646 total views

기초부터 알아보는 지리적 정보 시각화 총정리

Using GIS data with Tableau

요즘 데이터 중에 지리정보들 무척 많아지고 있지요? 안타까운 코로나 19의 확진자 동선 등이 그 대표적인 내용이 아닐까 합니다. 예전에는 처리 자체가 어려워 모으지 않던 데이터들을 요즘은 많이 활용하고 있습니다.

위경도 요소들을 선반위에 올리면서 지도가 뜨면서 대전 아래쯤에 점이 하나 딱 드던 그 첫 경험을 잊지 못합니다. 신기하고 재미있던 느낌이었는데요, 하나 하나 기능들을 소화하고 실무에 적용하면서 내용이 계속 추가하면서 자료가 상당히 방대해졌습니다. 이 자료는 여러가지 기본적인 내용들로부터 실무적으로 필요한 응용 내용들, 엔터프라이급에서 필요한 내용까지 총 망라하고 있습니다. 태블로 컨퍼런스나 웨비나 등을 통해 몇차례 소개한적도 있습니다.

개별적인 세부 내용들에 대해서는 시리즈물로 풀어서 공유하려고 준비 중에 있고요, 만약 부족해 보인다거나 추가적으로 필요한 내용은 댓글 혹은 메일로 알려주시면 검토하여 준비하겠습니다.

새창에서 보려면 아래의 링크를 누르시기 바랍니다.
http://map.tw19.dviz.kr

 482 total views