디노입니다. 국가, 시도, 시군구에 대해서 위경도 좌표를 어떻게 준비를 해야만 하는지 질문을 종종 받습니다.
아시는 분은 아시겠지만 태블로는 국가, 시도, 시군구에 대해서는 정확한 위경도 및 경계선에 대한 좌표정보를 내장하고 있기 때문에 “명칭”만 아시면 그리는데 문제가 없습니다.
샘플은 다른 글에서 포스팅하기로 하고요, 아마도 특이한 지역의 작은 국가들 때문에 질문을 하시는 것 같은데 국가명 목록을 궁금해하는 분이 있길래 문득 궁금해져서 구글링을 해보았더니만 country.tds에 저장이 되어 있다 합니다. 그래서 tds를 검색해 보았습니다.
프로그램/태블로/태블로 버젼/로컬/데이터
이 중에서 country.tds가 국가 정보를 가지고 있다해서 태블로로 열어 구글시트에서 한국만을 필터링했습니다.
country.tds를 열어서 살펴본 대한민국 관련 지리정보 데이터
몇가지 기준에 의한 국가코드가 보이고요, 두글자 코드, 세글자 코드도 보이고요, 한국의 여러가지 명칭도 보입니다. 한국/대한민국/한국/Korea (South) / Rep. of Korea / Republic of Korea / Republic of South Korea / ROK / South Korea / Südkorea / 韓国 등의 명칭도 보입니다.
이 내용을 좀 더 쉽게 살펴보기 위해 태블로 대시보드를 만들었습니다. 만드는 도중 알게 된 사실은 대한민국에 대한 명칭 데이터는 19개나 있지만 특정 랭귀지 모드값에 대해 한 가지의 명칭만을 표현한다는 것이었습니다. 세부적인 내용까지 살펴볼 필요는 없을듯 했지만 궁금한 분들과 검색의 편의를 위해 만들어 게시합니다. 데이터는 아래의 시트 링크를 참고하시기 바랍니다. 코드는 2020.1버젼입니다.
데이터 시각화 업무가 프로젝트 규모가 되면 수행기간이 있지요. 이와 관련해서 솔루션 라이선스가 문제가 됩니다. 라이선스 정책은 솔루션마다 다를텐데요, 태블로는 개발용 무료 라이선스라는 개념은 없습니다. 개발기간에 솔루션을 사용해서 그 비용을 벌게 되니 솔루션 비용을 내야한다고 이해하면 간단할겁니다.
물론 트라이얼이라는 것이 있기는 합니다. 15일간 무료 평가판이고요, 무료로 제품 구매를 위한 평가를 위해 제공하는 기간입니다. 따라서 개발을 위한 라이선스는 아닙니다. 누구나 사용할 수 있으니 개발에도 사용할 수는 있겠으나 기간이 짧아 큰 도움은 안 될 것입니다.
그렇다면 통상의 경우 개발을 위해 개발기간 몇 달간 크리에이터 라이선스가 필요한데 개발 기간동안 라이선스를 구매할 수 있을까요?
태블로는 년단위 이하로는 판매가 안된다고 보시면 됩니다. (3개월x, 6개월x..) 다만 년간 라이선스에 추가해서 구매는 가능한데요 예를 들어 1년 3개월, 1년 6개월 이런식으로 말입니다.
여기서 고려해야 할 것이 통상의 프로젝트에 있는 “프로젝트 종료 후 1년 혹은 검수 후 1년간 무상 유지보수” 라는 규정입니다. 프로젝트가 종료되고 1년간은 무상으로 라이선스를 제공해야 한다는 것이죠 (프로젝트 비용에 포함해서 제공해야 한다는 의미)
그렇다면 이런 경우 두 가지 방법이 있습니다.
개발자용 라이선스 몇 개를 먼저 1년분을 사용하여 개발을 시작하고 프로젝트 종료 즈음해서 추가 1년분을 구매하면서 나머지 3개월치를 추가 구매하는 것입니다.
프로젝트 종료 혹은 검수예정일 이후 1년을 고려해서 1년 3개월 혹은 1년 6개월 이런식으로 구매를 먼저하고, 프로젝트 종료 즈음해서 나머지 운용 라이선스 1년 분을 구입하는 것입니다.
개발기간을 고려한 라이선스 구매 계획 수립
3. 물론 개발용 따로 서버용 따로 종료일자가 달라도 그냥 사용하는 방법도 있습니다. 꼭 종료일을 맞춰야 하는 것은 아니라고 합니다. (예전에는 한 서버에 대해 종료일을 정확하게 맞추지 않으면 입력 자체가 되지 않았습니다) 다만 이렇게 되면 각각의 종료일마다 라이선스의 갱신을 해주어야 하므로 프로젝트 종료일자를 기준으로 라이선스 종료일을 통일하는 것이 바람직합니다.
제 눈에 띄는 기능 몇 가지를 보면 1) 로그인 기반의 라이선스 관리 2) 버퍼 계산 3) 태블로 퍼블릭 익스텐션 지원 4) 브라우저 재생 버튼 등이 눈에 띄는군요.
2020.1에서 근접성과 거리를 이해하는 것이 강화 되었는데 바로 버퍼 계산입니다. 위치, 거리 및 측정단위의 세 파라미터를 지정하면 버퍼 혹은 경계가 쉽게 만들어집니다.
버퍼의 첫번째 인수는 GEOMETRY라는 것을 볼 수 있는데요, 따라서 위경도 값을 그대로 넣으면 안되고 지리적 지점을 만들어야 합니다.
MAKEPOINT([위도], [경도]) 이런식으로 지점을 정하면 되겠습니다. 태블로의 기본 좌표계는 WGS84좌표계이고 세번째 인수는 SRID로서 ESPG 기준계 고트들 사용하여 좌표계를 지정하는 공간 참조 식별자 입니다. 미지정시는 WGS84로 인식을 하게 되고 경찰 등에서 사용하는 UTM좌표계의 경우 5179를 넣으면 될 것입니다. (추가 확인해서 기술하겠음) [태블로 매뉴얼]
버퍼 함수의 두번째 인수는 거리 숫자이고 세번재 인수는 단위이니 이해하는데 큰 문제 없어보입니다.
실제로 제가 이 기능이 반가왔던 것은 해결이 어려웠던 여러 케이스가 생각나서 입니다. 아마 환경관련 연구소 였던 것으로 기억하는데 상수원으로부터 몇백 미터 이내에 있는 공장을 표시해주기를 원했습니다. 다른 하나는 학교로부터 수백미터 이내에 유해시설이 들어오면 안되는데 그것을 표현하기를 원했습니다. 이 이런 것들이 해결 가능해졌습니다.
실제 구현을 위해서 공장데이터를 한번 찾아보았습니다. 구글링 만으로도 많은 공장 목록이 보이네요. 최근 데이터 개방 및 여러 빅데이터 사업의 효과라 생각됩니다.
맨 아래 공장등록 현황을 클릭해보겠습니다. 경기도 내 공장등록 현황볼 수 있는 화면입니다.
우측 하단의 csv를 다운받아보겠습니다. xls도 문제 없을 듯 합니다. 편의를 위해서 [여기]를 누르면 다운로드 되도록 준비했습니다.
이제 태블로 2020.1에서 불러들이겠습니다. 많은 칼럼들이 로딩됩니다. 저는 위치정보가 있는 파일을 로딩하게 되면 제일 처음 확인하는 것이 주소가 제대로 있는가 하고 위경도가 포함되어 있는가 입니다.
살펴보니 주소는 제대로 들어와 있기는 하지만 시도 혹은 시군구 구분이 안되어 있어서 간단한 계산식으로 시도와 시군구를 만들어 주었습니다. 이 방법이 주소가 있는 경우 거의 필수이다시피 꽤나 유용한데 그 내용에 대해서는 아래 링크를 참고하시기 바랍니다. 이번 경우는 워낙에 데이터가 많아서 특정 시군구에 대한 필터가 필요해서 준비를 합니다.
칼럼들을 점검하여 위경도를 더불클릭한 후 주소를 고려해준 다음 여주시로 필터링한 화면입니다. 태블로를 사용하시는 분들은 그림만 보고 금방 이해가 가실겁니다.
그림을 보시면 중앙에 흐르는 강이 남한강이라고 나오네요. 남한강으로 부터 가깝게 위치한 공장들도 제법 보입니다. 이제 버퍼 함수를 사용하여 범위선(버퍼)를 그렸을 때 강에 닿는 공장이 있는지 살펴보겠습니다.
먼저 버퍼함수의 첫번째 인자는 geometry라고 나오고 있으므로 기존의 위경도를 가지고 먼저 포인트를 만들어 줍니다. 아래 계산식을 참조하시기 바랍니다.
이제 포인트가 준비되었으니 버퍼를 정의합니다.
두번째 인수는 거리이고, 그 다음은 단위인데 “M”으로서 메터를 표시했습니다. 거리는 단순 숫자를 넣어도 되지만 파라미터로 조절해보는 것도 나쁘지 않을것 같아 파라미를 하나 정의하고 마무리 하겠습니다.
M이라는 메터 파라미터를 지정하는 그림입니다.
자 이제 포인트도 정의하고 M이라는 파라미터도 만들어 버퍼를 정의하였습니다. 이것을 표시해야할텐데요, 공장의 위치 또한 표시되어야 하기 때문에 그 점은 그대로 두고 이중축기능으로 지도를 두벌 만들겠습니다. 컨트롤을 누른채로 경도나 위도를 옆으로 끌게 되면 새로운 경도나 위도가 생기게 됩니다.
중앙을 보시면 재도가 동일한 것이 두개 보이고 좌측에 보면 카드셋도 두벌이 된 것을 알 수 있습니다. 이제 한 층은 공장위치표시, 그리고 한 층은 버퍼로 만들어 보겠습니다. 두번째 카드셋에서 주소 대신 버퍼를 올려보겠습니다.
이제 두 레이어를 합치고 다듬으면 되는데요 자세한 설명은 실제 파일을 만져보시기 바랍니다. 혹시 점과 버퍼가 순서가 뒤바뀐 경우에는 행 선반에 있는 위도 요소를 맞바꾸시면 되고요, 버퍼의 색상이 너무 진하면 아래와 같이 불투명도를 낮춰주고 경계선의 색생도 없애시면 됩니다.
이제 파라미터를 움직여보면 주황색으로 표시되는 버퍼의 범위가 늘어나고 줄어드는 것을 볼 수 있습니다.
사용해보면서 이 기능의 한계는 태블로는 어디까지나 시각적 분석 툴이고, GIS엔진은 아니기 때문에 버퍼가 강을 침범하는 지 여부는 눈으로만 판단해야 하는 한계가 있네요. 그래도 그 사실들을 시각적으로 간단하게 표현할 수 있는 기능이 나왔으니 무척유용하게 사용할 듯 합니다.
여기를 클릭하시면 태블로
아래의 태블로 퍼블릭 임베딩 화면을 살펴보시기 바라고요, 우측 하단의 다운로드 버튼을 눌러서 다운로드 받아서 살펴보셔도 됩니다.
이 데이터는 제가 아는 어떤 조직의 주소록인데 동호수를 전부 삭제한 것입니다. 주소를 살펴보면서 새삼스럽게 느낀 것은 공동주택이 압도적으로 많다는 점입니다. 거의 대부분의주소가 아파트 아니면 빌라네요. 개인 주택으로 보이는 주소는 한손으로 꼽을 정도입니다.
구글 스프레드시트와 AWESOME TABLE
이제 데이터가 준비되었으니 사용할 연장을 확인해야 하겠습니다. 위 메뉴에서 부가기능을 눌러보세요. AWESOME TABLE이 보이면 넘어가시고, 안보이면 설치되어 있지 않다는 이야기이니 [부가기능 설치하기]만 보이면 그것을 눌러줍니다.
AWESOME TABLE로 검색을 해보면 아래와 같은 목록이 보이는데 첫 앱을 선택해줍니다.
[설치]를 눌러서 구글 시트에서 사용할 수 있도록 설치합니다. 앱에 기능이 추가되는 것이니 별도의 설치 동작 등은 없고 권한 확인 및 인증 등을 확인하게 됩니다.
이제 [부가기능]으로 가서 [Geocode by Awesome Table]-[Start Geocoading]을 선택합니다. 아마 그 아래의 [Geocode on form submit]는 구글 폼 등을 통해서 자료를 자동수집할 경우 자동으로 데이터가 들어올 때 마다 주소를 위경도로 변환해주는 기능인 듯 합니다. 이 기능에 대해서는 별도 포스팅해보겠습니다.
주소의 변환 (Geo Coading)
[Start Geocoading]을 누르게 되면 아래와 같이 우측창이 나타나게 됩니다. 시트명은 그대로 사용하시면 되고, Address column을 지정해주면 됩니다. “주소” 혹은 다른 칼럼 명을 지정하면 됩니다. 그리고는 [Geocode!]를 눌러주면 됩니다.
Langitude, Longitude 칼럼이 자동으로 생기고 자동으로 주소 변환을 해줍니다. 50개 변환하는데 1분도 채 안걸린 듯 합니다. 저는 개인적으로는 자료가 많은 경우 몇천개씩 잘라서 별도의 시트에 붙여서 동시에 변환한 경우도 있습니다. 이렇게도 잘 동작됩니다.
오류의 보정
이 기능이 예전에는 오류율이 많았었는데 최근에는 편안하게 다른 분들에게 추천드릴 정도로 오류율이 상당히 개선되었습니다. 어찌되었건 오류가 나는 경우가 없지는 않은데요. 주소변환 오류가 발생한 경우 다시 한번 주소를 확인한 다음 구글맵으로 갑니다. http://map.google.com
검색창에 주소를 붙여넣기하고 검색을 눌러주면 위치가 나타나게 됩니다. 이 때 주소창을 보시면 @다음에 숫자가 이어진 부분이 있는데 이것이 바로 위경도 입니다. 맨 앞이 위도, 슬래시 다음이 경도, 그 다음이 zoom level (확대 수준) 입니다. z17이면 17단계까지 확대한 상태라는 겁니다.
하나 하나 이 숫자를 복제하는 것도 방법이지만 이 숫자를 더블클릭하시면 위경도와17z 까지 전부 선택됩니다. 이것을 복사합니다.
이것을 구글시트 해당 주소줄 맨 오른쪽에 붙여줍니다. 이와 같은 동작을 다른 오류난 주소들에도 반복해줍니다. 주소의 수동 검색이 끝났으며 이제 이것을 위경도 칼럼에 넣어주어야 하는데 먼저 쉼표로 이어진 텍스트를 각각 분리해야 합니다.
구글시트에는 [데이터]-[텍스트를 열로변환] 기능이 있습니다. 먼저 칼럼을 선택하고 이 기능을 실행하면 아래 그림과 같이 위도, 경도, z level 세 칼럼으로 나눠줍니다. 이렇게 나눠진 앞의 두 칼럼을 복사해서 왼쪽의 위경도 창에 붙여넣으면 됩니다.
이렇게 변환된 주소들은 맵에도 바로 표시할 수 있습니다. [Open map]을 선택하면 아래와 같은 지도가 나옵니다.
마무리
저는 태블로에서 변환된 위경도 주소를 활용할 계획이므로 이쯤에서 마무리하겠습니다. 참고로 이 기능은 일일 사용제한량이 있어서 수만~수십만개의 데이터를 변환하는데는 적절하지 않아보입니다. 대량 주소 변환에 대해서는 좋은 프로그램들이 좀 있다는데요 다음 기회에 추가 포스팅을 할 기회가 있을 듯 합니다.
그 다음으로 많이 필요한 기능이 시도와 시군구를 구분하는 일입니다. 아시다시피 태블로에서는 국가, 시도, 시군구 데이터에 대해서는 geographical role을 부여하여 지도를 그리거나 필터를 걸 때 매우 유용하게 사용됩니다.
사용자 정의 split를 사용하여 3칼럼을 분리합니다. 제대로 정제된 데이터를 사용하셨다면 첫번째 칼럼은 무조건 시/도입니다. 이것은 큰 이슈가 없습니다. 첫 칼럼의 명칭을 시도로 하신 다음 geographical role을 시/도로 부여합니다.
문제는 두번째, 세번째 칼럼입니다. 서울시 강남구를 보면 두번째가 구로 끝나서 “시/군/구”에 해당하는 것이 맞는데 경기도 성남시 분당구를 보면 두번째 칼럼은 시로 끝나고 세번째 칼럼은 구로 끝나고 있지요.
실은 두번째 칼럼은 기초광역자치단체에 해당 합니다. 서울의 강남구 의회가 있드시 경기도는 성남시 의회가 있습니다. 성남시에는 분당구, 수정구, 복정구의 세가지 일반구가 있습니다.
기초지자체를 시군구로 정의하려 사용하시려면 split한 두번째 칼럼을 그대로 사용하시면 되고요, 우리가 실생활에서 사용하는 일반구를 사용하려면 아래의 계산식이 필요합니다. 기계적인 판단이 아닌 하고자 하는 일의 용도에 따른 선택을 하셔야 합니다.
이때 시군구를 성남시 분당구의 일반구로 구별을 하고자 하면 시군구는 “성남시 분당구”가 될 것입니다. 다행히도 태블로는 “성남시 분당구”를 알아듣습니다.
위와 같이 구현하려면 세번째 split칼럼을 살펴봐야 하는데 오랜 경험의 결과 지자체급 시군구와 일반시군구의 구분은 세번째 칼럼의 마지막 글자가 “구”로 끝나는 경우가 100%였습니다. 따라서 칼럼2와 칼럼3를 엮어서 아래와 같은 계산식을 정의하면 유용하게 사용 가능합니다.
IF RIGHT([주소3], 1) = "구" THEN
[주소2] + " " + [주소3]
ELSE
[주소2]
END
이렇게 정의된 칼럼은 “시군구”로 이름을 변경하시면 되고 geograhpical role 또한 “시군구” 혹은 “county”로 정의를 하시면 되겠습니다.
실습을 위한 샘플 링크는 아래의 구글 스프레드시트를 참고하세요. 인터넷에서 구한 주소록에 동호수를 전부 없앤 데이터입니다. 이 주소들을 보니 정말 아파트나 빌라 등 공동주택에 살고 계시는 분이 많긴 많네요.
결론부터 먼저 말씀을 드립니다. 티베로 드라이버를 찾는 태블로 사용자 여러분. 반드시 티베로 홈페이지에서 다운받으시기 바랍니다.
티벡스 드라이버는 티멕스 홈페이지에서
웹상에서 구글링되는, 네이버에서 검색되는 드라이버들은 대부분 불안정한 하위 버젼입니다. 시간낭비 마시고, 업체 욕하지 마시고 꼭 데이터베이스 제조사인 티베로 홈페이지에 들어가셔서 다운로드 받으시기 바랍니다. 저 또한 몇시간의 고생끝에 얻어낸 결론입니다.
저희가 수 년전 경마 관련 공공기관의 프로젝트를 진행할 때의 경험인데 이 때 티베로 디비에 연결은 되어 디비나 테이블 목록은 보이는데 막상 데이터는 불러와지지 않아서 티멕스의 본사의 엔지니어의 도움을 받아 같이 고생하면서 드라이버를 안정화시킨 적이 있습니다. 적어도 그 이후 버젼이어야 잘 동작을 할텐데요 제대로 동작하는 그 버젼이 바로 홈페이지에 있는 버전으로 보입니다.
회원가입 및 로긴은 불편하시더라도 하시기 바랍니다. 저도 회원가입 귀찮은 마음에 여기 저기 개인 블로그 등에서 다운로드 받아서 깔고 테스트하고 실패하느라 시간 많이 날렸기 때문에 이 글을 씁니다. 꼭 공식 홈페이지에서 최신 드라이버를 다운받으시기 바랍니다.
티멕스에게 바라는 점
티멕스에도 얘기드리고 싶은데요. 꼭 (회원가입을 하고) 로긴을 해야만 드라이버를 다운받을 수 있도록 한것은 제품을 다운받는 사람을 파악하기 위해서인지는 모르겠지만 사용자 입장에서는 무척 불편합니다. 최근 다른 드라이버를 다운받았던 기억을 되살려보면 그런 사이트들에서 로긴을 한 경험이 거의 기억나지 않습니다. 제품의 제대로 된 사용을 위해 다들 오픈하는 것 아닌가 하는 생각입니다. 티베로도 불완전한 제품이라는 불필요한 오해를 받는 것을 방지하기 위해서라도 공개로 전환하시는 것은 어떠실지요?
요즘 데이터 중에 지리정보들 무척 많아지고 있지요? 안타까운 코로나 19의 확진자 동선 등이 그 대표적인 내용이 아닐까 합니다. 예전에는 처리 자체가 어려워 모으지 않던 데이터들을 요즘은 많이 활용하고 있습니다.
위경도 요소들을 선반위에 올리면서 지도가 뜨면서 대전 아래쯤에 점이 하나 딱 드던 그 첫 경험을 잊지 못합니다. 신기하고 재미있던 느낌이었는데요, 하나 하나 기능들을 소화하고 실무에 적용하면서 내용이 계속 추가하면서 자료가 상당히 방대해졌습니다. 이 자료는 여러가지 기본적인 내용들로부터 실무적으로 필요한 응용 내용들, 엔터프라이급에서 필요한 내용까지 총 망라하고 있습니다. 태블로 컨퍼런스나 웨비나 등을 통해 몇차례 소개한적도 있습니다.
개별적인 세부 내용들에 대해서는 시리즈물로 풀어서 공유하려고 준비 중에 있고요, 만약 부족해 보인다거나 추가적으로 필요한 내용은 댓글 혹은 메일로 알려주시면 검토하여 준비하겠습니다.
