빅데이터 시대의 도래 - 빅데이터의 가능성
기존의 기술로는 처리하기 힘든 복잡하고 규모가 큰 데이터군을 가리키는 ‘빅데이터’가 시장에서 높은 관심을 받고 있다. 빅데이터에 숨겨진 높은 가치를 지닌 데이터를 통해 새로운 지식이나 통찰을 얻고, 경쟁 우위 및 비즈니스 기회를 획득하는 것이 성장 전략의 축이 될 것이라는 인식을, 많은 기업이 갖기 시작했기 때문이다. 여기에서는 빅데이터를 관리할 때의 주의점, 빅데이터가 형성되어 온 경위, 빅데이터의 가능성에 관해 간략히 기술하고자 한다. 세계의 정보량이 연간 59%의 비율로 증가하는 시대로 도래 브로드밴드의 보급 및 스토리지 용량의 확대, 데이터 병렬 분산 처리 기술 및 인메모리 데이터 기반 기술의 실용화로 인해, 데이터 활용의 흐름 속에 빅데이터를 포함시킨다는 개념이 각광을 받고 있다. 소셜 미디어나 모바일 단말기의 보급으로 인해, 새로운 형태의 데이터가 증가하였다. 빅데이터는 기업이 가진 데이터의 ‘양’과 ‘질’이 지금까지와는 완전히 다르다는 점에서 새롭다. 양적인 측면에서 살펴보자. 빅데이터의 명료한 정의는 아직 존재하지 않으며, 그 범위는 전문가에 따라 다르지만, 수백 테라바이트에서 펩타바이트 수준의 데이터에 이를 것으로 보는 것이 타당하다. 대용량을 전제로 하는 빅데이터는 질적인 측면에서도 특징이 있다. 빅데이터의 분석 대상은 릴레이셔널 데이터베이스에 격납되어 온 구조화 데이터뿐 아니라 텍스트와 음성, 감시 카메라에 녹화된 영상, 그래프 형식의 데이터, 주가 데이터, 회계 트랜젝션 등 다양한 종류의 비구조화 데이터가 포함된다. 또한 실시간성이 높다는 특성 역시 빅데이터의 요건이라 할 수 있다. 높은 빈도로 수집 및 축적되는 데이터를 취급하는 경우, 기존에 비해 더욱 빠른 처리가 요구된다. 예를 들어, 웹서비스를 제공하는 사업자는 아이템의 구매 요인이 되는 키워드를 추출하기 위해 끊임없이 수집되는 클릭 데이터를 통해 고객의 행동을 분석하려 한다. 클릭 데이터를 비롯하여 센서 기기로부터 수집되는 데이터, 전지구 측위 시스템(GPS)의 위치 정보, RFID가 생성하는 데이터 등은 즉시성이 높은 데이터의 대표적인 예이다. 미국의 조사회사 가트너는 빅데이터의 관리에 있어 기업이나 CIO가 정보의 양뿐 아니라 다양성 및 속도와 같은 과제에도 초점을 맞추어야 한다는 견해를 갖고 있다. 세계의 정보량이 연간 59%의 비율로 증가하는 빅데이터 시대에는, 양에 대한 대응에만 눈을 돌리게 된다고 지적한다. 빅데이터의 양에 대한 과제에만 주의를 빼앗기면 근시안적인 판단에 빠져, 다양성 및 속도와 같은 다른 국면에 대응하는 데 2~3년이 걸리는 대규모 재투자가 필요하게 된다. 그러므로.... (더보기)
오픈 데이터(Open Data) 활용사례
오픈 데이터는 최소한의 제약만으로 누구나 자유롭게 이용, 가공, 재배포할 수 있는 데이터를 말하며, 다양한 문제를 해결하는 데 데이터의 이용이 촉진되고, 다른 데이터와 조합한 새로운 가치 창출ㆍ서비스 창출이 활성화되며, 그것을 위해 공통적인 데이터 형식 및 부가적인 정보(메타데이터 등)의 기술 형식 등이 설계된다. 특히 시멘틱 웹 분야에서 개발ㆍ표준화된 기술을 사용하는 링크드 오픈 데이터(Linked Open Data : LOD)가 잘 알려져 있으며, 또한 분야ㆍ조직을 넘나들어 데이터를 연계하기 쉽게 하려고 공통어휘의 설정을 포함하는 데이터 연계 기반이 구축되고 있다. 미국에서는 2005년에 NIEM(National Information Exchange Model), 유럽에서는 2011년에 SEMIC(Semantic Interoperability Community)이 데이터 연계 표준을 만들기 시작했으며, 가까운 일본에서는 ‘미래 투자 전략 2018’에서 데이터 구동형 사회의 공통 인프라로서 데이터 연계 기반의 구축을 들고 있어, 공통어휘 기반(Infrastructure for Multilayer Interoperability : IMI)이 구축되었다. IMI, NIEM, SEMIC 간의 국제적인 상호 운용성도 검토되고 있다. 아래는 오픈 데이터 활용 사례를 소개한다. ■ 오픈 데이터를 기반으로 신규 서비스 창출(새로운 가치 창조형) ① 신종 코로나 대시보드 말 그대로, 일본 국내의 신종 코로나 바이러스 감염자 수, 병상 수와 그 사용률을 47개의 도도부현별로 목록을 확인할 수 있는 대시보드이다. 각 지방자치체가 내놓은 신종 코로나 관련 데이터를.... (더보기)
가트너 - 2021년 데이터와 애널리틱스에서의 테크놀로지 트렌드 TOP 10
신종 코로나 바이러스 감염증(COVID-19)이 만연했을 때 대량의 과거 데이터에 크게 의존하던 기존의 분석 방법을 이용하는 조직은 한 가지 중요한 사실을 깨달았다. 그것은 이러한 모델이 대부분 조만간 통용되지 않게 될 것이라는 사실이다. 팬데믹으로 인해 모든 것이 바뀌고, 많은 데이터가 쓸모없게 되었다. 이로 인해 미래를 내다본 데이터/애널리틱스 관련 팀은 기존의 ‘빅’데이터에 의존하는 AI 방식에서 필요한 데이터량이 보다 적은 ‘스몰’ 데이터를 통해 더욱 다양성이 풍부한 애널리틱스로 전환하고 있다. ‘이러한 데이터와 애널리틱스의 트렌드는 파괴적인 변화, 이제껏 없었던 불확실성, 그리고 그것들이 가져올 기회에 대하여, 조직과 사회가 대처하는 데 도움을 준다’ 빅데이터에서 광범위한 스몰 데이터로의 전환은 가트너가 발표한 2021년 데이터/애널리틱스 톱 트렌드 중 하나이다. 이 기사에서 다루는 테크노로지 트렌드는 데이터/애널리틱스 리더에 있어 오늘날처럼 변화가 빠른 시대에 무시할 수 없는 비즈니스, 시장, 테크놀로지의 다이내믹스를 나타낸다. 가트너의 부회장 리타 살람(Rita Sallam)은 ‘데이터와 애널리틱스의 트렌드는 향후 3년에 걸쳐 일어나게 될 파괴적인 변화와 이제껏 없었던 불확실성이 가져오게 될 기회에, 조직과 사회가 대처하는 데 도움이 된다. 데이터와 애널리틱스 관련 리더는..... (더보기)
AI(인공지능)의 가능성과 한계
‘AI(인공지능)’는 최근 몇 년 사이 언론에서 언급되지 않는 날이 없을 정도로 주목을 받고 있다. 여기에서는 AI가 무엇인지, 그리고 무엇을 할 수 있으며, 어떠한 한계를 가지고 있는지 설명함과 동시에 앞으로의 커다란 가능성에 대해 이야기한다. AI의 가장 중요한 특성은 ‘학습’ 애초에 AI란 무엇인가? 그 본질을 한 마디로 말하면, 인간의 뇌가 수행하는 지적 작업을, 컴퓨터상에서 실현하기 위한 기술의 총칭이다. 인간의 뇌는 매우 복잡하고 고차원적인 정보 처리를 하기 때문에 아직 해명되지 않은 부분이 많아, 현재의 AI 기술이 인간의 뇌에 가까운 움직임을 보일 수는 없다. 하지만 기존 시스템의 처리(예 : 컴퓨터 프로그램)가 인간이 정한 로직(예 : ‘A라면 X를 실행, B라면 Y를 실행’)에 따라 정보를 처리하는 것에 반해, 현재 주류를 이루고 있는 AI는 ‘학습’이라는 프로세스를 거치는데 그것은 ‘인간의 뇌가 하는 일과 유사하다’고 한다. 예를 들어, Spectee가 일본 기상 협회 및 후지TV와 협력하여 개발한 ‘AI 날씨’는 ‘긴소매를 입은 사람’ ‘반팔을 입은 사람’ ‘코트를 입은 사람’의 이미지를 미리 학습함으로써 통행인들이 무엇을 입고 있는지 순식간에...... (더보기)
중국의 그린 수소 발전 전략, 2060년 탄소 중립을 향한 움직임
기후변화를 억제하기 위해, 세계의 주요 국가들은 잇달아 탄소 중립(카본 뉴트럴)의 목표를 내걸었다. 2020년의 국제 연합 총회에서 중국은 2060년까지의 탄소 중립 목표를 발표했는데, 그것을 실현하기 위해 더욱 현실적인 의논이 요구되게 되었다. 다양한 의논을 거치면서 수소 개발과 이용에 주목하게 되었다. 수소는 에너지원과 에너지 저장 매체로서, 자연에너지 중심의 에너지 구조 전환에 있어 중요한 역할을 담당할 것으로 기대된다. 하지만 현재 중국의 수소는 대부분 화석연료로부터 생산되는 그레이 수소이며, CO2를 배출한다. 이러한 그레이 수소의 이용은 탄소 중립의 목표와 상반되기 때문에, CO2를 배출하지 않는 그린 수소를 중심으로 하는 발전 전략이 필요하다. 2020년 12월에 그린 수소 인증 제도 발표 수소는 이용 단계에서는 CO2를 배출하지 않지만, 수소의 제조 및 운송, 충진 시 에너지를 소비하며 CO2를 배출한다. 제조 시 수소를 생산하는 방법에 따라 그레이 수소, 블루 수소, 그린 수소 등 ‘색깔’로 분류한다. 그레이 수소는 석탄이나 천연가스 등의 화석연료를 원료로 하며 생산 과정에서 대기 중에 CO2를 방출한다. 블루 수소는 그레이 수소의 생산 과정에 CO2 회수ㆍ저류 프로세스(CCS)를 도입한 수소이다. 그린 수소는 풍력이나 태양광 등 자연에너지의 전력을 이용하여 물을 전기분해하여 생성한다. 자연에너지 전력은 CO2를 배출하지 않으므로, 그린 수소의 CO2 배출은 수소 제조와 관련된 설비 생산ㆍ건설ㆍ운전에 의해 발생한다. 한편, 블루 수소는 제조 시 탄소를 회수하는데, 그 회수율은 50~90%로 폭이 넓기 때문에, 그린 수소와 비교하여 CO2의 배출량이 큰 편이다. 2020년에 제정된 중국의 ‘에너지법’에서는 수소를 에너지원으로 정의하고, 탄소 중립을 실현하기 위해 더욱 구체적인 수치 기준으로 수소를 분류할 것을 요구한다. 2020년 12월에 중국 수소 연맹(CHA：China Hydrogen Alliance)은 중국 최초의 그린 수소 인증 제도를 발표했다. 이 제도에서는 수소를 제조할 때뿐 아니라 설비 생산ㆍ건설ㆍ운전을 포함한 CO2 배출량에 대해, 임계치를 설정하여..... (더보기)
