MS Azure 기반의 빅데이터 활용 시나리오

Microsoft Azure 기반의 빅데이터 활용 시나리오 

빅데이터란 기존 데이터베이스 관리도구의 능력을 넘어서는 대량의 정형 또는 심지어 데이터베이스 형태가 아닌 비정형의 데이터 집합조차 포함한 대용량의 데이터를 분석하여 데이터 간의 패턴이나 규칙을 찾아 다른 데이터의 결과값을 예측하고 분석하는 기술을 의미합니다.

4차 산업혁명을 이야기할 때 가장 먼저 이야기되는 빅데이터는 IT 10대 핵심기술 중 하나로 정치, 사회, 경제, 문화, 과학 기술 등 전 산업 영역에 걸쳐 그 중요성이 부각되고 있습니다.

특히 기업 빅데이터 전략과 활용방안은 기업 경쟁력에 큰 영향을 미치고 있으며, 이런 빅데이터의 가치를 제대로 얻기 위해 필요한 통합 플랫폼이 마이크로소프트 애저(Microsoft Azure) 등의 퍼블릭 클라우드 환경에서 빠르게 발전하고 있습니다. 

마이크로소프트 애저(Microsoft Azure)에서는 데이터 수집 및 통합, 정제, 분석 그리고 시각화까지 모든 워크플로우에 필요한 리소스를 제공하기 때문에 온프레미스에서는 접근하기 힘들었던 무제한 양의 데이터를 예측 분석하여 인텔리전스한 서비스로 혁신할 수 있습니다.

마이크로소프트 애저 빅데이터 플랫폼은?

1.데이터 수집 및 통합

무제한의 빅데이터를 정형 및 비정형, SNS, 이미지, 센서 및 로그 데이터 등 데이터 출처와 상관없이 수집하고 수집된 데이터를 이동 및 변환할 수 있는 데이터 통합 환경을 제공합니다.

Azure Data Lake Store

웹, 혹은 어플리케이션에서 수집된 방대한 양의 데이터는 Azure Data Lake Store로 저장됩니다. 이는 무제한에 가까운 저장소로 매우 빠른 속도로 최적화된 HDFS(하둡 분산 파일 시스템)과 호환이 됩니다.

Azure Data Factory

Azure Data Factory는 데이터 이동 및 변화을 자동화하기 위해 클라우드에서 데이터 기반 파이프라인을 설계하고 공유할 수 있습니다. 빅데이터와 관련된 HDInsight, Spark, Data Lake Analytics 및 Azure  Machine Learning 리소스와 통합하여 데이터를 분석 및 변환하여 처리합니다.

Azure SQL Datawarehouse

Azure SQL Datawarehouse는 대규모 병렬 처리로 신속하게 데이터를 Processing 하며 99.9% 가용성을 보장합니다. PolyBase를 사용하여 Hadoop, Spark 등의 빅 데이터 파일 시스템으로 쿼리하여 데이터를 수집할 수 있으며 Azure Machine Learning 과 호환으로 데이터를 분석할 수 있습니다.

2. 데이터 정제 및 분석

정제 및 분석에 필요한 Hadoop, Spark, R과 같이 여러 도구들을 PaaS 형태로 제공하여 쉽게 분석 개발 환경을 구성하고 공유할 수 있습니다. 고급 분석을 위해 다양한 언어와 인기있는 분석 프레임워크로 효과적인 분석 모델을 생산할 수 있습니다.

HDInsight

HDInsight는 Spark, Hadoop, Kafka, Strom, R 등과 같이 다양한 오픈 소스 프레임워크를 제공하여 쉽고 빠르며 비용 효율적으로 대량의 데이터 처리 및 분석할 수 있는 완전 관리형 클라우드 서비스입니다.

Azure Databricks

Azure Databricks는 Apache Spark 클러스터를 클라우드 환경에서 몇 분 만에 배포하며 Auto-Sailing으로 쉽게 빌드할 수 있습니다. 데이터 분석가와 엔지니어가 함께 공동 작업을 할 수 있는 환경과 Python, R, Scala, SQL 등 여러 인기 프레임워크 및 라이브러리를 제공하여 분석 솔루션을 쉽게 개발할 수 있습니다.

3. 데이터 시각화

빅데이터의 마지막 단계인 시각화를 통해 데이터 분석 결과를 실시간으로 보여줌으로써 여러 Insight를 한 눈에 파악할 수 있습니다. 여러 사람이 함께 결과물을 공유하며 다양한 디바이스를 통한 통합된 시각화 솔루션을 제공합니다.

PowerBI

PowerBI는 데이터의 유형과 위치에 상관없이 수백 개의 데이터 리소스에 연결하고 개인이 설정한 대시보드를 통해 인사이트를 얻을 수 있습니다. 또한 시각적 개체를 손 쉽게 어플리케이션 내에 삽입할 수 있으며 데이터를 이용한 시각적 효과로 앱을 돋보이게 할 수 있습니다.

애저 빅데이터 플랫폼은 IoT 및 AI 서비스 빌드에 활용됩니다. 

IoT

IoT는 가전제품, 웨어러블 디바이스, 자동차 등 다양한 사물에 센서와의 통신 기능을 내장한 기술입니다. 인터넷으로 연결된 사물들이 데이터를 주고받아 사물의 상태를 파악하고 제어할 수 있을 뿐 아니라 Azure의 다양한 인공지능 솔루션과 연계하여 스스로 분석하고 학습한 정보를 사용자에게 제공할 수 있습니다.

Azure IoT Hub

Azure IoT Hub는 수백만 개 이상의 IoT 장치와 클라우드 호스팅 솔루션 백 엔드 간에 안정적인 양방향 통신을 위한 중앙 메시지 허브 역할을 합니다. 원격분석, 장치제어 등 여러 메시징 패턴을 지원하여 거의 모든 장치를 연결하여 유지관리 할 수 있습니다.

AI

머신러닝 또는 딥러닝을 활용한 예측 분석 모델링 개발 환경을 제공하여 최적의 분석 모델을 찾을 수 있습니다. 또한 AI API를 적용하여 여러 지능형 응용프로그램을 개발하고자 하는 서비스에 쉽고 빠르게 빌드할 수 있습니다.

Azure Cognitive API

Azure Cognitive API는 얼굴과 감정 인지, 텍스트 및 음성 인지, Video Indexer 등 다양한 AI API를 제공하고 있어 서비스에 간편하고 쉽게 AI 기술을 적용할 수 있습니다. 또한 Tensorflow, MXNet, CNTK 등 최신 프레임워크로 사용자 맞춤형 인공지능 모델을 구축할 수 있습니다.

Azure Machine Learning Service

Azure Machine Learning Service는 머신러닝 모델 학습, 개발 그리고 배포까지의 복잡한 워크플로우를 Azure Machine Learning SDK를 사용하여 쉽고 효율적으로 적합한 모델을 찾을 수 있습니다. 모델을 컨테이너를 통해 쉽게 배포하고 관리하며 서비스에 적용할 수 있습니다.

Azure Bot Service

Azure Bot Service는 봇 서비스를 빌드, 테스트, 배포 및 관리할 수 있는 강력한 도구입니다. Azure에서 제공하는 AI 서비스를 활용하여 사용자 음성을 인지 및 저장하고, 자연어 처리를 하며 질문 및 답변 처리 등을 수행하는 지능적인 봇 서비스를 개발할 수 있습니다.

빅데이터 활용 사례

비정형 데이터인 IoT, 이벤트 로그 데이터는 Azure HDInsight의 Kafka 클러스터를 통해 Azure Databricks로 이동됩니다. 정형 데이터는 Azure Data Factory로 통합되어 Azure Blob Storage로 저장됩니다.

정형 및 비정형 데이터는 Databricks인 Spark 클러스터 위에서 Python, Scala, SQL, R 등을 사용하여 데이터 분석이 진행됩니다.

분석된 결과는 Azure SQL Datawarehouse로 저장되어 PowerBI로 시각화로 보이거나 또는 Azure Cosmos DB에 저장되어 실시간 분석 결과 데이터를 어플리케이션 위에서 볼 수 있습니다.

Azure 빅데이터 플랫폼은 빅데이터를 분석하거나 활용하는 데 필요한 필수 인프라(Infrastructure)인 셈입니다. 이러한 안전된 기반위에서 전처리된 데이터를 분석하고 이를 다시 관련 비즈니스 프로세스에 맞게 가공하여 활용한다면 각 비즈니스에서 원하는 가치를 정확하게 얻으실 수 있습니다.

급변하는 4차 혁명 시대, 이 모든 과정을 국내 최초 글로벌 MS 클라우드 최고 전문가 등급을 획득한 지티플러스와 시작하십시오!

[관련 문의]

지티플러스

안지연 차장 02-6272-3818 / 010-3218-7903 / jiyon@gtplus.co.kr

양선주 차장 02-6276-3813 / 010-7331-3707 / sj.yang@gtplus.co.kr

2019-02-22T14:40:23+00:00