가장 연결 가능한브로커

Azure HDInsight ID Broker (계층 2)

Secure Edge

Juniper Secure Edge는 웹, SaaS 및 온프레미스 애플리케이션을 보호하고 사용자의 위치에 관계없이 사용자에게 부여되는 일관되고 안전한 액세스를 제공하는 전체 스택 SSE(Secure Services Edge) 기능을 제공합니다. 주니퍼의 AI 기반 SD WAN과 결합하면 Juniper Secure Edge는 기존 아키텍처를 활용하고 SASE 설치 공간을 확장함에 따라 성장하는 원활하고 안전한 최종 사용자 경험을 제공하는 데 도움이 되는 제품군 내 최고의 SASE 솔루션을 제공합니다.

• FWaaS(Firewall-as-a-Service)는 애플리케이션을 식별하고 99.5% 이상의 효율성을 통해 공격과 멀웨어에 대한 트래픽을 검사합니다.
• SWG(Secure Web Gateway)는 허용 가능한 사용 정책을 집행하고 웹 관련 위협을 방지하여 웹 액세스를 보호합니다.
• CASB(Cloud Access Security Broker)는 허용된 액세스, 위협 방지 및 규정 준수를 보장하기 위해 SaaS 애플리케이션에 대한 가시성 및 세분화된 제어를 제공합니다.
• DLP(Data Loss Prevention). 데이터 트랜잭션을 분류 및 모니터링하고 기업 규정 준수 요구 사항 및 데이터 보호 규칙의 준수 여부를 보장합니다.
• ATP(Advanced Threat Prevention). 봇넷 및 C2를 포함하여 트래픽을 해독할 수 없는 경우에도 제로데이(zero-day) 멀웨어 및 악의적인 연결을 탐지합니다. 파일 격리 및 액세스 권한 축소 등과 같은 세분화된 보호 메커니즘을 실행합니다.

기능 + 이점

단일 UI의 단일 정책 프레임워크

데이터센터를 통해 에디에서 균일화된 정책을 관리한다는 것은 더 적은 정책 격차, 인적 실수 제거 및 보다 안전한 환경을 의미합니다.

어디서든 안전한 사용자 액세스 보장

직원에게 필요한 애플리케이션 및 리소스에 대해 안전한 액세스를 통해 사무실, 가정 또는 이동 중에도 멀리 있는 직원을 지원하세요. 일관된 보안 정책은 규칙 세트를 복사 또는 재현하지 않고 사용자, 디바이스 및 애플리케이션을 따릅니다.

동적 사용자 세분화

사용자를 따르는 정책은 세분화 정책을 통해 직원과 타사 계약자에게 자동화된 액세스 제어 기능을 제공하며 공격 벡터로 간주하여 타사 액세스를 차단합니다.사각지대의 공격 경로를 줄이기 위해 제3자 및 위험한 사용자에 대한 추가 인증을 구성하세요.

온프레미스 및 클라우드 내의 애플리케이션에 대한 액세스 보호

업계에서 트래픽 확인에 가장 효과적임이 증명된 효과적인 위협 방지 서비스를 활용하여 위험을 줄이고 어디에서나 웹, SaaS 및 온프레미스 애플리케이션에 대한 안전한 액세스를 보장하세요.

비즈니스에 가장 적합한 속도로 전환

온프레미스, 클라우드 또는 하이브리드 환경에 관계없이 자신의 속도에 맞춰 SASE 아키텍처를 혁신하세요. 주니퍼는 캠퍼스 및 지점의 온프레미스 에지 보안과 어디서나 작업하는 멀리 떨어져 있는 직원을 위해 Secure Edge의 클라우드 제공 보안 기능을 활용하기 위해 여행 중인 곳에서 여러분을 만납니다.

여러분의 데이터센터 네트워크 보안 아키텍처에 Zero Trust 프레임워크를 적용하여 데이터와 애플리케이션을 보호하세요.

리소스 센터

eGuide

교육 및 커뮤니티

배경 정보

업계 수상

자세히 보기

인포그래픽

데이터시트

보안 제품

Juniper Secure Edge는 웹, SaaS 및 온프레미스 애플리케이션을 보호하고 사용자의 위치에 관계없이 사용자에게 부여되는 일관되고 안전한 액세스를 제공하는 전체 스택 SSE(Secure Services Edge) 기능을 제공합니다. 주니퍼의 AI 기반 SD WAN과 결합하면 Juniper Secure Edge는 기존 아키텍처를 활용하고 SASE 설치 공간을 확장함에 따라 성장하는 원활하고 안전한 최종 사용자 경험을 제공하는 기관에 도움이 되는 제품군 내 최고의 SASE 솔루션을 제공합니다.

• FWaaS(Firewall-as-a-Service)는 애플리케이션을 식별하고 99.5% 이상의 효율성을 통해 공격과 멀웨어에 대한 트래픽을 검사합니다.
• SWG(Secure Web Gateway)는 허용 가능한 사용 정책을 집행하고 웹 관련 위협을 방지하여 웹 액세스를 보호합니다.
• CASB(Cloud Access Security Broker)는 허용된 액세스, 위협 방지 및 규정 준수를 보장하기 위해 SaaS 애플리케이션에 대한 가시성 및 세분화된 제어를 제공합니다.
• DLP(Data Loss Prevention). 데이터 트랜잭션을 가장 연결 가능한브로커 분류 및 모니터링하고 기업 규정 준수 요구 사항 및 데이터 보호 규칙의 준수 여부를 보장합니다.
• ATP(Advanced Threat Prevention). 봇넷 및 C2를 포함하여 트래픽을 해독할 수 없는 경우에도 제로데이(zero-day) 멀웨어 및 악의적인 연결을 탐지합니다. 파일 격리 및 액세스 권한 축소 등과 같은 세분화된 보호 메커니즘을 실행합니다.

중앙 집중식 보안 관리, 분석 및 균일화된 정책 오케스트레이션 기능을 사내, 클라우드 및 전 세계의 사용자, 디바이스 및 애플리케이션에 모두 제공할 수 있습니다.

• 수만 개의 사이트를 동시에 관리 가능
• 검증된 위협 방지, 사용자 및 애플리케이션 액세스 제어, 보안 연결 등을 위한 정책을 생성하고 이를 모든 곳에 적용
• 메타데이터 기반 보안 제어 기능으로 프라이빗 및 퍼블릭 클라우드 워크로드 보호
• 탐지한 제품에 관계없이 공격의 각 단계를 상호 관련시키고 순차적으로 분석하며 Policy Enforcer의 원클릭 완화 기능을 통해 네트워크 전체의 위협 차단
• 보안 규칙이 의도한 효율을 제공하도록 항상 적절히 배치되도록 보장하는 Security Assurance

ID 기반 정책, 마이크로세그먼테이션, VPN 연결 및 검증된 위협 방지를 통해 공격 위험을 줄이고 사용자, 애플리케이션 및 장치를 보호합니다.

라이트코인이란 무엇인가?

암호화폐는 단순히 디지털 통화 또는 가상 통화로 정의할 수 있는데, 컴퓨터 소프트웨어를 통해 암호화되고 암호로 보호되어 그러한 이름이 붙여졌습니다.

암호화폐는 일반적인 지폐나 법정화폐와 달리 위조할 수 없고 이중지출 문제를 해결한 것도 디지털 자산에 많은 가치가 부여된 큰 이유 중 하나다.

암호화폐는 블록체인의 기술을 기반으로 하는 분산형 네트워크입니다. 블록체인(blockchain)은 암호화폐 관련 거래가 기록되는 곳에 분산되는 분산원장(DLT) 역할을 합니다.

DLT는 디지털 통화 또는 자산의 기록을 변경할 수 없고 투명하게 만듭니다. 라이트코인과 같은 암호화폐는 은행이 발행할 수도 없고 한 국가의 중앙은행이나 정부 등과 같은 참여자가 통제할 수도 없습니다.

라이트코인의 소개 및 역사

오늘날 수많은 암호화폐가 존재하는데, 이중 라이트코인은 시가총액만으로 6번째로 큰 규모의 암호화폐입니다. 라이트코인의 탄생은 최초의 암호화폐인 비트코인에 큰 영감을 받았습니다. 라이트코인은 다양한 면에서 비트코인의 복제물 역할을 합니다.

라이트코인은 비트코인과 경쟁하는 대신 수많은 방식으로 이를 보완하고 있으며, 비트코인의 금에 대한 은이라는 방식으로 다양한 참조가 이루어지고 있습니다.

그러나 라이트코인의 알고리즘, 거래 처리 속도, 코인 한도 등으로 인해 비트코인과 차별화되는 많은 차이점이 있습니다.

구글 엔지니어 출신인 찰스 리(Charles Lee)가 2011년 설립한 라이트코인은 설립과 출시 직후 상당한 성장을 달성했습니다.

2017년에는 라이트코인의 가격이 8200%까지 엄청나게 가장 연결 가능한브로커 상승하여 시가총액이 3600%이상 증가한 암호화폐에 비교하여서도 상당한 성장을 보였습니다. 이 기간 동안 라이트코인은 비트코인의 성능을 능가하고 가치를 2000% 증가시켰습니다.

이 사례는 라이트코인을 상위 암호화폐 반열에 올려놓았을 뿐만 아니라 비트코인의 일부 영역을 개선하는 라이트 코인의 주요 목표 중 하나를 달성할 수 있도록 했습니다.

• 비트코인은 2009년에 설립되었으며, 이는 라이트코인 및 기타 수많은 알트코인 의 토대가 되었습니다. 알트코인(altcoin)은 대체 코인으로 비트코인을 제외한 모든 코인을 지칭할 때 사용하는 일반적인 용어입니다.
• 2011년, 찰스 리는 비트코인과 관련된 코드를 수정하여 라이트코인을 만들었습니다.
• 2013년 라이트코인의 시가총액은 10억 달러에 달했습니다.
• 2013년부터 2016년까지 라이트코인은 꾸준히 발전하고 성장해 왔습니다.
• 2017년까지 라이트코인에 분리 증인(Segregated Witness, SegWit)이 구현되어 최초의 번개 거래가 이루어졌습니다. 같은 해 12월, 라이트코인의 가격은 약 $366로 최고점을 찍었습니다.
• 2018년 라이트코인은 가격이 하락하여 암호화폐 시장에서 확인된 더 넓은 추세를 반영했습니다.

라이트코인의 목표는 무엇인가?

라이트코인은 암호화폐와 작업증명(Proof-of-Work, PoW) 컨센서스 알고리즘을 모두 사용하여 사용자가 일상적으로 거래할 수 있도록 지원하기 위한 목적으로 만들어졌습니다. 비트코인은 거래 시간이 더 긴 반면, 라이트코인은 더 저렴할 뿐만 아니라 더 빠릅니다.

비록 라이트코인이 비트코인의 금에 대한 은이라는 유명한 속담으로 잘 알려져 있지만, 상당량을 수정하고 개선하면서 라이트코인이 비트코인에서 많은 것을 수정하면서 상당 부분을 수정하고 개선했다는 점을 언급해야 합니다.

비트코인은 장기 투자를 위한 완벽한 플랫폼을 제공할 뿐만 아니라 가치를 위한 저장소로 사용될 수 있는 반면, 라이트코인은 거래 실행 속도와 낮은 비용으로 인해 결제 처리에 이상적입니다.

비트코인은 수많은 상점, 웹사이트에서 결제 수단으로 널리 받아들여지고 있으며, 이들 중 상당수가 라이트코인을 수용하기 시작했습니다. 이를 통해 암호화폐 시장은 사용자에게 수많은 솔루션과 기회를 제공할 수 있게 되었습니다.

라이트코인은 사용자에게 거의 즉각적이고 거의 무료인 트랜잭션을 제공할 뿐만 아니라 낮은 트랜잭션 수수료와 시간을 제공하는 P2P 인터넷 통화가 될 것입니다.

블록체인의 개요

암호화폐는 블록체인 기술을 기반으로 하며 블록이 포함되어 있습니다. 이 블록은 트랜잭션과 관련된 날짜, 시간 및 금액과 같은 트랜잭션에 대한 정보를 저장합니다.

또한 이 블록은 트랜잭션 참가자와 관련된 정보를 저장합니다. 이러한 블록들은 사람들이 각각 이름을 가지고 있는 것처럼 다른 블록들과 구별되는 정보를 가지고 있습니다.

각 블록에는 다른 블록과 구별되는 해시(hash)가 있습니다. 이것은 특별한 알고리즘을 통해 만들어진 독특한 암호화 코드입니다.

블록이 새 데이터를 저장하자마자 해당 블록이 블록체인에 추가됩니다. 체인에는 수많은 블록이 있으며 새 블록을 추가하려면 다음과 같은 네 가지 조건이 충족되어야 합니다.

1. 트랜잭션이 발생해야 합니다.
2. 트랜잭션이 확인되어야 합니다.
3. 트랜잭션이 블록에 저장되어야 합니다.
4. 블록에 해시가 제공되어야 합니다.

트랜잭션

라이트코인을 이용한 구매와 같이 암호화폐로 이루어진 모든 거래는 구매 금액 및 판매자의 세부사항 등 기타 정보가 포함된 새로운 블록에 저장됩니다.

트랜잭션 확인

구매가 이루어지면 트랜잭션이 합법적이고 공정한 방식으로 발생했는지 확인하기 위해 서두르는 컴퓨터 네트워크에 의해 트랜잭션이 확인됩니다. 시간, 통화 금액, 참여자 등 구매 내역을 확인합니다.

새로운 블록에 저장된 트랜잭션

일단 트랜잭션이 확인되면 거래가 승인되고 거래통화 금액, 판매자의 디지털 서명 외에 구매자의 디지털 서명이 모두 블록에 저장됩니다.

블록이 해시를 수신

검증 및 승인 시 블록은 고유한 해시를 수신하고 블록체인에 추가됩니다.

블록체인에 블록이 추가되면 누구나 공개적으로 볼 수 있습니다. 이는 블록체인 기술이 가진 가장 큰 장점 중 하나이며 전 세계 수많은 산업에 블록체인 기술이 적용되고 있는 이유 중 하나이기도 합니다.

합의 방법

합의 방식은 블록체인의 유형에 관계없이 블록체인의 중요한 부분입니다. 이 방법은 트랜잭션이 얼마나 빠르고 효율적이며 안전한지를 결정합니다. 오늘날 사용되는 가장 일반적인 합의 방법에는 다음이 포함되지만 이에 국한되지는 않습니다.

• 작업증명(Proof-of-Work) 또는 PoW는 트랜잭션의 확인을 담당하는 채굴자가 있는 블록체인 네트워크에서 사용됩니다. 새로운 블록의 해시는 네트워크에 추가될 수 있도록 반드시 찾아야 하며 먼저 찾은 채굴자에게 보상이 주어집니다. PoW은 상당한 양의 계산 능력을 사용합니다.
• 지분증명(Proof-of-Stake) 또는 PoS는 2세대 블록체인 네트워크에서 사용됩니다. PoW와는 다른 접근 방식을 사용하며 노드에서 코인을 스테이킹하는 것만큼 많은 전력 소비가 필요하지 않습니다.
• 위임지분증명(Delegated Proof-of-Stake) 또는 DPoS 는 다른 방식으로 노드를 선택합니다. 코인 보유자는 합의 방법의 일부를 구성하는 노드를 선택하고, 그 후에 이들 코인 보유자도 노드를 선택하거나 쫓아내는 투표를 합니다.
• 실용적인 비잔틴 내결함성(Practical Byzantine Fault Tolerance) 또는 PBFT는 비잔틴 일반 문제를 해결할 때 사용됩니다. 노드는 새 메시지를 기반으로 계산을 실행하는 데 사용되는 내부 상태를 유지하기 위해 제출된 정보를 수락할지 거부할지를 결정할 수 있습니다.

라이트코인과 비트코인의 차이점

라이트코인에 사용되는 네트워크는 트랜잭션이 포함된 블록을 단 2.5분 만에 처리할 수 있는 반면 비트코인은 10분 정도 걸립니다. 이는 라이트코인이 트랜잭션을 처리할 수 있는 번개처럼 빠른 속도를 보여줍니다.

라이트코인이 더 빠르고 저렴함에도 불구하고, 라이트코인은 네트워크가 활성 상태를 유지하고 안전하게 유지되도록 채굴자들에게 의존합니다. 채굴자와 사용된 PoW 합의 방법은 이러한 거래를 처리하기 위해 상당한 양의 에너지와 전기를 소비합니다.

이것이 PoW가 비효율적이고 환경적으로 해로운 암호화폐 네트워크 보안 방법으로 여겨지는 주요 이유 중 하나이며, 암호화폐가 상당이 많은 적대감에 직면하는 이유이기도 합니다.

채굴이 환경에 미치는 영향을 줄이기 위한 여러 가지 방법이 있는데, 이더리움이 합의 방법을 PoW에서 PoS 제안으로 바뀐 이유 중 하나가 있습니다.

채굴 알고리즘인 스크립트(Scrypt)는 기존 SHA-256보다 훨씬 효율적인 것으로 간주됩니다. 이를 통해 더 많은 사용자가 네트워크에 접속할 수 있으며 결과적으로 전력이나 장비가 훨씬 적게 필요합니다.

비트코인 채굴자는 대부분 기업과 대기업으로 구성되며, 라이트코인은 여전히 독립적으로 작업하고 전문 장비를 사용하는 사용자가 채굴할 수 있습니다.

채굴이 가능한 코인의 총 한도는 비트코인이 총 2,100만 개의 코인으로 구성되어 있는데 반해 라이트코인은 8,400만 개입니다. 이는 희소성, 가격 및 시장 가용성과 관련된 가장 중요한 차이점 중 하나입니다.

비트코인이 더 비싼 이유 중 하나이며, 전체 비트코인이 아닌 라이트코인 한 개를 얻기가 더 쉬운 이유이기도 합니다.

많은 수의 코인과 그에 따른 가격 인하와 관련된 장점 중 하나는 코인의 유용성과 관련이 있습니다. 사용자는 코인의 일부만 거래할 수 있는 것이 아니라 모든 양의 코인을 거래할 수 있습니다.

라이트코인 사용자는 결제 시 0.05 Litecoin(LTC) 또는 10LTC를 사용할 수 있는 반면, 비트코인 또는 BTC 사용자는 분수 단위로만 결제할 수 있습니다.

라이트코인의 블록체인 자세히 살펴보기

앞에서 논의한 바와 같이 블록체인은 전체 체인을 형성하기 위해 서로 연결된 기록된 정보 또는 블록의 목록으로, 더 많은 블록을 추가할 수 있습니다. 이 블록에는 라이트코인의 전송 방법, 라이트코인을 보낸 사람, 받은 사람에 대한 중요한 정보가 저장됩니다.

이러한 종류의 트랜잭션은 블록에 추가되고 기록되며 언제든지 모든 사용자가 볼 수 있습니다.

거래가 완료되거나 검증되기 위해 필요한 두 그룹의 사람이 사용자와 채굴자입니다. 두 그룹 모두 라이트코인 코어(Litecoin Core)와 같은 참조 클라이언트를 사용합니다.

라이트코인 블록체인을 설치하고 동기화한 후 클라이언트가 이제 사용자 전체 노드(User Full Node)가 됩니다. 사용자 노드는 다음과 같은 여러 기능을 제공하지만 이에 국한되지는 않습니다.

• 처리하려는 트랜잭션과 관련하여 네트워크의 다른 노드에 정보를 전송하는 중계국
• 블록체인을 보호
• 사용자 노드로 레코드를 보관하는 검증자가 전체 블록체인을 다운로드합니다. 각각의 전체 노드에는 블록체인에 분산 특성을 제공하는 원장의 복사본이 있습니다.
• 증인 역할을 합니다. 합의와 관련된 프로세스를 통해 블록체인의 복사본 하나만 유효성을 유지할 수 있습니다. 두 개의 채굴자에 의해 블록이 동시에 추가되는 경우, 이들 노드가 함께 작동하여 어떤 블록이 실제 체인인지 선택하고, 어떤 블록이 손실되면 연결이 끊어지고 나중에 잊혀집니다.
• 블록체인의 무결성이 노드에 의해 구현되고 예약되기 때문에 규제 기관입니다. 사용자 노드에는 프로토콜의 변경 사항을 구현할 수 있는 기능이 있습니다. 또한 블록체인에 새로운 블록을 추가하기 위해 매너로 해결해야 하는 수학 문제를 규제하고 만들 수 있습니다.

라이트코인의 채굴

라이트코인 채굴은 전문 컴퓨터와 하드웨어를 사용하는 채굴자에 의해 이루어집니다. 채굴은 크게 두 가지 목적으로 이루어지는데 네트워크 보안 및 거래 확인과 알고리즘 해결에 대한 보상으로 채굴자에게 지급되는 새로운 라이트코인의 생성입니다.

라이트코인 채굴에 사용되는 하드웨어는 무엇인가?

비록 라이트코인 채굴은 비트코인 채굴에 비해 개발도가 현저히 낮지만 채굴 과정에서 동일한 하드웨어가 일부 사용됩니다. ASIC는 비트코인의 PoW를 해결하기 위해 특별히 설계되고 제작된 강력한 컴퓨터입니다.

라이트코인 채굴 시에도 사용이 가능하지만, 라이트코인이 합의 방법으로 다른 PoW 기능을 사용하고 비트코인 채굴자는 라이트코인 채굴이 불가능해 구매가 더욱 어렵습니다.

라이트코인용으로 특별히 설계된 최고의 채굴 하드웨어에는 수익성은 없지만 그래픽 카드가 포함됩니다. 라이트코인을 채굴하는 유일한 방법은 비트코인 앤트마이너 S7 ASIC(Bitcoin Antminer S7 ASIC)와 같은 하드웨어를 구입하고 비트코인을 채굴하여 라이트코인으로 전환하는 것입니다.

라이트코인 채굴의 어려움

암호화폐는 통화 공급이 정해진 간격으로 프로그램되어 유통될 수 있다는 점에서 큰 장점이 있습니다. 금, 은 및 기타 물리적 물품과 달리 수요에 따라 후속 가격 인상을 포함합니다.

라이트코인 채굴의 어려움은 가장 중요한 특징 중 하나입니다. 총 네트워크 해싱 능력에 따라 업데이트되는 알고리즘이 있습니다. 따라서 평균 2.5분마다 라이트코인 블록이 생성됩니다.

라이트코인을 금 같은 것에 비유할 때, 채굴 방법과 가격을 더 쉽게 이해할 수 있습니다. 상상의 시나리오에서, 금 가격이 온스당 1,000달러에서 온스당 2,200달러로 오르게 되면 채굴자들이 금 생산량을 늘려야 하는 계기가 될 것입니다.

이는 또한 공급을 늘리기 위해 더 많은 금광업자들이 등장할 수도 있습니다. 금 가격이 1,2000달러가 증가하면 새로운 금 공급이 너무 많이 생겨 공급이 수요를 넘어서면 가격이 다시 하락할 것입니다.

그러나 라이트코인은 이와는 다르게 작동합니다. 라이트코인이 채굴되는 속도의 증가를 유발하는 가격 인상은 없습니다. 하지만 코인 가격이 갑자기 상승하면 더 많은 채굴자들이 라이트코인 네트워크로 해시 파워를 가리킬 수 있습니다.

라이트코인 채굴과 관련된 어려움으로 인해 새로운 해시 파워가 단순히 사용되는 PoW 알고리즘의 난이도 상승과 균형을 이룰 수 있도록 합니다. 라이트코인의 난이도는 2,016블록 또는 3.5일마다 조정됩니다.

라이트코인 수익성 및 블록 보상

라이트코인 채굴로 얻을 수 있는 잠재적 수익을 계산하기 위해 사용자는 사용 중인 하드웨어에 따라 수익성을 결정하는 다양한 라이트코인 채굴 계산기를 사용할 수 있습니다.

수익성은 라이트코인의 가격, 하드웨어의 해시 파워, 전기 비용 및 하드웨어의 효율성을 기준으로 합니다.

라이트코인의 창시자인 찰스 리는 비트코인을 여러 가지 방법으로 복사하고 몇 가지 매개변수를 변경했습니다. 라이트코인의 목표는 보다 빠른 트랜잭션 확인을 생성하는 것으로, 비트코인에서 트랙잭션이 확인되는 데 걸리는 시간인 10분 대신에 2.5분으로 설정되었습니다.

또한, 라이트코인에 대한 블록 보상은 84만 블록마다 블록이 반으로 줄어들게 즉 반감되도록 설계되었습니다. 새로운 블록마다 채굴자는 50라이트코인을 받게 됩니다. 시간이 지나면 블록 보상이 너무 적어질 것이고 라이트코인은 8천4백만개 밖에 없기 때문에 더 이상 새로운 라이트코인이 생성되지 않을 것입니다.

귀하는 관심이 있을 수도 있습니다: 이더리움이란 무엇인가?

라이트코인의 사용 사례 및 응용

투자를 위한 수단

최근 몇 년 사이 암호화폐 시장의 인기가 높아졌고, 초보자, 고급 거래자, 전문 거래자 모두에게 매력적으로 되었습니다. 투자자들은 특히 시장의 성장에 큰 흥미를 느낍니다.

시장이 상당한 수준의 변동성을 나타내더라도, 기꺼이 위험을 감수하고 필요한 위험 내구성을 가진 기업은 상당한 이익을 얻을 수 있는 기회를 갖게 됩니다.

다른 암호화폐와 비교했을 때, 라이트코인은 꾸준한 성장세를 보여 왔으며 가까운 미래에 많은 잠재력을 보유하고 있습니다.

국경 간 거래

라이트코인은 해외 송금 거래에 사용할 수 있습니다. 거래는 은행 및 송금과 같은 기존 결제 방식보다 빠르고 안전하며 보다 저렴합니다.

일상적인 결제 수단

라이트코인의 목표 중 하나는 일상적인 구매와 관련하여 법정화폐를 궁극적으로 대체할 수 있는 실행 가능한 디지털 화폐가 되는 것입니다. 라이트코인은 비트코인보다 수용도가 더 제한적일 수 있지만, 인기가 높아짐에 따라 달라질 수 있습니다.

윤자이 기술블로그

이번 포스팅에서는 kafka consumer(소비)에 대해서 알아보겠습니다. kafka producer가 메시지를 생산하고 토픽으로 전송하는 역할을 한다면 consumer는 메시지를 가져와서 소비하는 역할을 하는 애플리케이션 또는 서버를 지칭합니다. 컨슈머의 주요 기능은 특정 파티션을 관리하고 있는 파티션 리더에게 메시지를 가져오기 요청을 하는 것입니다. 각 요청은 로그의 오프셋을 명시하고 그 위치로부터 로그 메시지를 수신합니다. 때문에 컨슈머는 가져올 메시지의 위치를 조정할 수 있고, 또 이미 가져왔던 메시지를 다시 가져오는 것 역시 가능합니다.

Consumer option

카프카 컨슈머에는 Old Consumer와 New Consumer 두 가지가 있습니다. 두 컨슈머의 가장 큰 차이는 주키퍼의 사용 유무입니다. Old Consumer는 컨슈머의 offset을 주키퍼의 지노드에 저장하는 방식을 지원하다가 0.9 version 이후로는 offset을 주키퍼가 아닌 카프카 토픽에 저장하는 방식으로 변경되었습니다.

※ 여기서 offset이란, 카프카 파티션 내에서 메시지를 식별하는 단위입니다.

아직까진 Old Consumer(주키퍼에 offset을 저장하는 컨슈머)의 지원이 계속되고 있지만, 이후의 릴리즈 버전에서는 해당 기능이 사라질 예정이므로 새로운 카프카 프로젝트를 시작하거나 인프라를 구축할 때에는 New Consumer를 기준으로 하는 것이 좋습니다.

bootstrap.servers

카프카 클러스터에 연결 하기 위한 카프카 정보를 나타냅니다. 프로듀서 포스팅에서도 언급했듯이 하나의 호스트만을 적용하더라도 동작은 하지만, 클러스터는 살아있지만 해당 호스트가 다운될 시에는 접속이 불가능하기 때문에 호스트 리스트 전체[를 입력하는 방식을 권장합니다.

fetch.min.bytes

한번에 가져올 수 있는 최소 데이터 사이즈 입니다. 만약 옵션에서 지정한 사이즈보다 모인 데이터가 적을 시에는 바로 요청에 대해 응답하지 않고 데이터가 누적될 때까지 기다리거나 응답을 기다리는 최대 시간까지 기다렸다가 응답하게 됩니다.

컨슈머가 속한 컨슈머 그룹을 식별하는 식별자 입니다.

enable.auto.commit

백그라운드에서 주기적으로 offset을 커밋합니다.

auto.offset.reset

카프카에서 초기 offset이 없거나 현재 offset이 더 이상 존재하지 않는 경우(데이터가 삭제된 경우) 아래의 옵션으로 리셋합니다.

• earliest : 가장 초기의 오프셋 값으로 설정합니다.
• latest : 가장 마지막의 오프셋값으로 설정합니다.
• none : 이전 오프셋값을 찾지 못하면 에러를 나타냅니다.

fetch.max.bytes

한 번에 가져올 수 있는 최대 데이터 사이즈

fetch.max.wait.ms

fetch.min.bytes에 설정된 데이터보다 적은 경우 요청에 응답을 기다리는 최대 시간입니다.

request.timeout.ms

요청에 대한 응답을 기다리는 최대 시간입니다. 만약 최소 데이터 사이즈가 차지 않았을 경우 해당 시간만큼 기다렸다가 데이터를 응답하게 됩니다.

session.timeout.ms

컨슈머와 브로커 사이의 세션 타임 아웃 시간 을 지정하는 옵션입니다. 즉 다시 말해 브로커가 컨슈머가 살아있는 것으로 판단하는 시간입니다. (default 10초) 만약 컨슈머가 그룹 코디네이터(주피터)에게 하트 비트를 보내지 않고 session.timeout.ms가 지나면 브로커는 컨슈머가 종료되었거나 장애가 발생한 것으로 판단하고 컨슈머 그룹은 리벨런스를 시도하게 됩니다.

해당 옵션은 일반적으로 heartbeat.interval.ms와 함께 사용됩니다. session.timeout.ms를 기본값보다 낮게 설정하면 싶패를 빨리 감지할 수 있지만, 가비지 컬렉션이나 poll 루프를 완료하는 시간이 길어지면 원하지 않는 리밸런스가 일어나게 됩니다. 반면 session.timeout.ms를 높게 설정하면 원하지 않는 리밸런스가 일어날 가능성은 줄어들지만, 실제 오류를 감지하는 데 시간이 오래 걸릴 수 있습니다.

heartbeat.interval.ms

그룹 코디네이터에게 얼마나 자주 하트비트를 보낼지 지정합니다. 당연히 session.timeout.ms보다 낮아야하고, 일반적으로 session.timeout.ms의 3분의 1 정도로 설정합니다. (default 값은 3초입니다)

max.poll.records

단일 호출에 대한 최대 레코드 수를 조정합니다.

max.poll.interval.ms

앞에서 컨슈머가 살아있는지 체크하기 위해 하트비트를 주기적으로 보낸다고 했습니다. 그런데 컨슈머가 하트비트만 보내고 실제로 메시지를 가져가지 않는 경우가 있을 수 있습니다. 이러한 경우 해당 컨슈머가 파티션을 무한정 점유할 수 없도록 주기적으로 poll을 요청하지 않으면 장애라고 판단하고, 컨슈머를 제외한 후 다른 컨슈머가 해당 파티션에서 메시지를 가져갈 수 있도록 합니다.

auto.commit.interval.ms

주기적으로 offset을 커밋하는 시간입니다.

※ 리밸런스란 컨슈머의 소유권이 넘어가는 것을 뜻합니다.

Consumer 구현해보기

그럼 직접 Java를 이용해서 Consumer를 구현해보도록 하겠습니다. 구현 코드는 아래와 같습니다.

코드를 살펴보면 Producer와 마찬가지로 카프카 리스트를 입력하고, 그 후로 gropd id와 auto commit과 offset reset과 관련된 옵션을 지정합니다. 앞선 포스팅 producer에서 메시지와 키 값에 문자열을 사용했기 때문에 내장된 StringDeserializer를 지정합니다.

subscribe() 메서드를 이용해서 메시지를 가져올 토픽을 구독합니다. (리스트의 형태로 여러개의 토픽을 입력할 수도 있습니다.) 그리고 무한 루프로 토픽에서 메시지를 지속적으로 poll()하게 됩니다. 이때 중요한 것이 카프카에 폴링 하는 것을 계속 유지해야 한다는 것입니다. 그렇지 않으면 컨슈머가 다운된 것으로 카프카가 판단하게 되어서 해당 컨슈머에 할당된 파티션은 다른 컨슈머에게 전달되어 소비됩니다.

poll()은 전체 레코드를 리턴합니다. 따라서 레코드 안에는 토픽, 파티션, 파티션의 offset, key, value와 같은 다양한 데이터를 포함하고 있습니다. 또한 한 번에 하나의 메시지만을 불러오는 것이 아니기 때문에 N개의 메시지를 처리하기 위해서 반복문을 사용하도록 합니다. 해당 예시에서는 단순히 System.out.printf()로 데이터를 출력하는 코드를 추가했지만, 실제 운영환경에서는 Hadoop이나 데이터베이스에 저장하거나 수신한 메시지를 분석하는 등 추가적인 로직을 작성하도록 합니다.

마지막으로 consumer가 종료하기 전에 close() 메서드를 이용해서 네트워크 연결과 소켓을 종료하도록 합니다. close() 메서드는 컨슈머가 하트 비트를 보내지 않아서 코디네이터가 해당 컨슈머의 종료를 감지하는 것보다 빠르게 진행되기 때문에 즉시 리벨런스가 발생합니다.

Partition Message 순서

컨슈머에 들어오는 메시지들의 순서는 파티션 단위로 지켜집니다. 예를 들어 아래의 이미지와 같이 파티션이 4개 있는 토픽이 있을 때 0, 1, 2, 3, 4, 5라는 메시지를 전송했다고 가정해보겠습니다. 각각의 파티션은 병렬로 메시지를 받기 때문에 0, 1, 2, 3이 offset1로 적재되었습니다. 그리고 4, 5가 offset2로 적재되었습니다. 카프카는 offset 기준으로만 메시지를 가져오기 때문에 offset이 1인 0, 1, 2, 3은 offset이 2인 4, 5에 비해서는 확실히 먼저 도착한 것이보장되지만 같은 offset을 가진 메시지끼리는 순서를 보장하지 않습니다. 따라서 아래의 이미지와 같이 0, 1, 2, 3, 4, 5로 전송하였지만 0, 2, 1, 3, 5, 4와 같은 순서로 consumer가 메시지를 받게 됩니다.

파티션끼리도 메시지의 순서를 보장하기 위해서는 파티션을 1개만 지정해서 사용해야합니다. 하지만 파티션 수를 1로 지정하면 모든 메시지의 순서를 보장할 수 있지만 파티션 수가 하나이기 때문에 분산해서 처리할 수 없고 하나의 컨슈머에서만 처리할 수 있기 때문에 처리량이 높지 않습니다.

Consumer Group

이번에는 컨슈머 그룹에 대해서 알아보도록 하겠습니다. 컨슈머 그룹은 카프카의 커플링을 낮추는 데에 큰 가장 연결 가능한브로커 가장 연결 가능한브로커 기여를 한 기능입니다. 컨슈머 그룹은 하나의 토픽에 여러 컨슈머 그룹이 동시에 접근해서 메시지를 순서를 유지하며 가져올 수 있습니다. 즉 하나의 데이터를 일관성 있게 다수의 그룹에서 불러옴으로써 다양한 형태로 데이터를 변형 및 사용할 수 있게 됩니다.

또한 컨슈머 그룹은 컨슈머를 확장시킬 수 있습니다. 만약 프로듀서가 토픽에 보내는 메시지 속도가 급증해서 컨슈머가 메시지를 가져가는 속도보다 빨라지면 가장 연결 가능한브로커 어떻게 될까요? 컨슈머가 처리하지 못한 메시지들이 점점 쌓이게 될 것입니다. 처음에는 큰 문제가 발생하지 않을지 모르지만, 점점 들어오는 메시지와 받아가는 메시지의 차이의 간격이 벌어져 서비스의 문제가 생길 수 있습니다.

이런 상황일 때 컨슈머 그룹은 유용한 기능을 제공합니다. 기본적으로 컨슈머 그룹 안에서 컨슈머들은 메시지를 가져오고 있는 토픽의 파티션에 대해 서유권을 공유합니다. 따라서 컨슈머 그룹 내 컨슈머 수가 부족해서 프로듀서가 전송하는 메시지를 처리하지 못하는 경우에는 컨슈머의 수를 추가해서 위의 이미지와 같이 하나의 컨슈머가 처리하던 메시지들을 병렬적으로 처리할 수 있습니다.

아래의 이미지처럼 컨슈머 그룹 내에 컨슈머가 증가하게 되면 리밸런스 과정을 거치게 되는데, 즉 파티션에 대한 각각의 컨슈머의 소유권이 이동하는 것을 뜻합니다. 그런데 리밸런스를 하는 중에는 일시적으로 메시지를 가져올 수 없기 때문에 가장 연결 가능한브로커 유의해야 합니다. 리밸런스가 일어나게 되면 토픽의 각 파티션마다 하나의 컨슈머가 연결됩니다. 그리고 리밸런스가 끝나게 되면 컨슈머들은 각자 담당하고 있는 파티션으로부터 메시지를 가져오게 됩니다.

컨슈머 그룹이라는 기능으로 인해 간단하게 컨슈머를 추가할 수 있습니다. 하지만 이미지처럼 4개의 컨슈머를 추가했음에도 프로듀서가 보내는 메시지보다 컨슈머가 가져가는 메시지의 양이 적다면 어떻게 해야 할까요? 단순히 컨슈머의 수를 늘리면 된다고 생각할 수 있지만, 토픽의 파티션에는 하나의 컨슈머만 연결할 수 있기 때문에 추가한 새로운 컨슈머는 대기상태에 놓이게 됩니다. 따라서 토픽의 파티션 수와 동일하게 컨슈머 수를 늘렸음에도 프로듀서가 보내는 메시지의 속도를 따라가지 못한다면 컨슈머만 추가하는 것이 아니라, 토픽의 파티션과 컨슈머를 같이 늘려줘야 합니다.

또한 반대로 잘 동작하고 있던 consumer4가 갑자기 다운될 경우를 생각해 보겠습니다. 이러한 경우에는 consumer4로 메시지를 보내던 partition3이 consumer3으로 리밸런스 되어서 partition2와 3이 모두 consumer3에게 할당되게 됩니다. 이런 경우 consumer 1, 2에 비해 처리량이 불균등해지기 때문에 지속적인 모니터링을 통해서 추가적으로 컨슈머를 할당해줄 필요가 있습니다.

처음 카프카를 소개할 때 카프카는 데이터의 중앙 집중화를 위한 시스템이라고 말씀드렸습니다. (리마인드를 위해 다시 이미지를 보도록 하겠습니다.) 카프카 이전의 시스템 흐름도는 우측의 카프카가 적용된 시스템 흐름도에 비해서 굉장히 커플링이 심하고 복잡합니다. 카프카는 이러한 복잡한 시스템 흐름도를 어떻게 개선한 걸까요?

예를 들어 A라는 서비스를 하는 팀이 로그 메시지를 topic-01 토픽으로 보내고 컨슈머 그룹01을 이용해서 이 메시지들을 처리하고 있었습니다. 그런데 얼마 후 B서비스팀에서 A 서비스팀의 로그 메시지들을 필요하게 되었습니다. 이전 같은 상황이었으면 A서비스 팀이 직접 로그 메시지를 전달해주었지만 (이러한 상황이 반복되어 복잡한 시스템 흐름도가 만들어짐) 카프카를 사용하고 있는 지금은 A팀이 사용하고 있는 카프카와 토픽 정보를 B팀에게 알려주어서 B팀이 새로운 컨슈머 그룹으로 접근하여 A팀이 카프카에서 가져가고 있는 메시지를 동일하게 가져갈 수 있습니다. 이렇게 여러 컨슈머 그룹들이 하나의 토픽에서 메시지를 가져갈 수 있는 이유는 컨슈머 그룹마다 각자의 오프셋을 별도로 관리하기 때문입니다. 그렇기 때문에 하나의 토픽에 두 개 이상의 가장 연결 가능한브로커 컨슈머 그룹뿐만 아니라 그 이상의 컨슈머 그룹이 연결되어도 다른 컨슈머 그룹에 영향 없이 메시지를 가져갈 수 있게 됩니다.

가장 연결 가능한브로커

This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.

• Open with Desktop
• View raw
• Copy raw contents Copy raw contents

Copy raw contents

Copy raw contents

Azure HDInsight ID Broker (계층 2)

이 문서에서는 Azure HDInsight ID 브로커 기능을 설정 하 고 사용 하는 방법을 설명 합니다. Azure Active Directory Domain Services (Azure AD DS)에서 레거시 암호 해시가 필요 하지 않고 다단계 인증을 적용 하는 동안이 기능을 사용 하 여 Apache Ambari에 대 한 최신 OAuth 인증을 가져올 수 있습니다.

HDInsight ID Broker는 다음과 같은 시나리오에서 복잡 한 인증을 단순화 합니다.

• 조직에서는 페더레이션에 의존 하 여 클라우드 리소스에 액세스 하는 사용자를 인증 합니다. 이전에는 HDInsight Enterprise Security Package 클러스터를 사용 하려면 온-프레미스 환경에서 Azure Active Directory (Azure AD)로 암호 해시 동기화를 사용 하도록 설정 해야 했습니다. 일부 조직에서는이 요구 사항이 어렵거나 바람직하지 않을 수 있습니다.
• 조직에서 Apache Ambari 및 기타 클러스터 리소스에 대 한 웹 기반 또는 HTTP 기반 액세스를 위한 다단계 인증을 적용 하려고 합니다.

HDInsight ID Broker는 Azure AD DS에 대 한 암호 해시를 동기화 할 필요 없이 OAuth (최신)에서 Kerberos (레거시)로의 프로토콜 전환을 가능 하 게 하는 인증 인프라를 제공 합니다. 이 인프라는 HDInsight ID Broker 노드가 활성화 된 Windows Server VM (가상 머신)에서 실행 되는 구성 요소와 함께 클러스터 게이트웨이 노드와 함께 구성 됩니다.

조직의 요구 사항에 따라 가장 적합 한 인증 옵션을 확인 하려면 다음 표를 사용 합니다.

인증 옵션	HDInsight 구성	고려해 야 할 요소
완전 OAuth	Enterprise Security Package + HDInsight ID Broker	가장 안전한 옵션입니다. (다단계 인증이 지원 됩니다.) 패스 해시 동기화는 필요 하지 않습니다 . Azure AD DS에 암호 해시가 없는 온-프레미스 계정에 대 한 ssh/kinit/keytab 액세스는 없습니다. 클라우드 전용 계정은 여전히 ssh/kinit/keytab 수 있습니다. OAuth를 통한 Ambari에 대 한 웹 기반 액세스 OAuth를 지원 하려면 레거시 앱 (예: JDBC/ODBC)을 업데이트 해야 합니다.
OAuth + 기본 인증	Enterprise Security Package + HDInsight ID Broker	OAuth를 통한 Ambari에 대 한 웹 기반 액세스 레거시 앱은 계속 기본 인증을 사용 합니다. 기본 인증 액세스를 위해서는 다단계 인증을 사용 하지 않도록 설정 해야 합니다. 패스 해시 동기화는 필요 하지 않습니다 . Azure AD DS에 암호 해시가 없는 온-프레미스 계정에 대 한 ssh/kinit/keytab 액세스는 없습니다. 클라우드 전용 계정은 여전히 ssh/kinit 할 수 있습니다.
완전 한 기본 인증	Enterprise Security Package	온-프레미스 설정과 가장 유사 합니다. Azure AD DS에 대 한 암호 해시 동기화가 필요 합니다. 온-프레미스 계정은 ssh/kinit 또는 keytab를 사용할 수 있습니다. 백업 저장소를 Azure Data Lake Storage Gen2 하는 경우 다단계 인증을 사용 하지 않도록 설정 해야 합니다.

다음 다이어그램은 HDInsight ID Broker를 사용 하도록 설정한 후 페더레이션된 사용자를 포함 하 여 모든 사용자에 대 한 최신 OAuth 기반 인증 흐름을 보여 줍니다.

. image type="content" source="media/identity-broker/identity-broker-architecture.png" alt-text="HDInsight ID Broker의 인증 흐름을 보여 주는 다이어그램입니다." border="false".

이 다이어그램에서 클라이언트 (브라우저 또는 앱)는 먼저 OAuth 토큰을 획득 해야 합니다. 그런 다음 HTTP 요청에서 게이트웨이에 토큰을 제공 합니다. Azure Portal와 같은 다른 Azure 서비스에 이미 로그인 한 경우 Single Sign-On 환경을 사용 하 여 HDInsight 클러스터에 로그인 할 수 있습니다.

기본 인증 (즉, 사용자 이름 및 암호)만 지 원하는 많은 레거시 응용 프로그램이 있을 수 있습니다. 이러한 시나리오의 경우 여전히 HTTP 기본 인증을 사용 하 여 클러스터 게이트웨이에 연결할 수 있습니다. 이 설정에서는 게이트웨이 노드에서 직접 시야를 볼 수 있도록 게이트웨이 노드에서 Active Directory Federation Services (AD FS) 끝점으로의 네트워크 연결을 확인 해야 합니다.

다음 다이어그램에서는 페더레이션된 사용자에 대 한 기본 인증 흐름을 보여 줍니다. 먼저 게이트웨이는 Ropc flow를 사용 하 여 인증을 완료 하려고 시도 합니다. Azure AD에 동기화 된 암호 해시가 없는 경우 AD FS 끝점을 검색 하 고 AD FS 끝점에 액세스 하 여 인증을 완료 하는 것으로 대체 됩니다.

. image type="content" source="media/identity-broker/basic-authentication.png" alt-text="기본 인증을 사용 하 여 아키텍처를 보여 주는 다이어그램입니다." border="false".

HDInsight ID Broker 사용

HDInsight ID Broker를 사용 하 여 Enterprise Security Package 클러스터를 만들려면:

에 로그인합니다.
1. Enterprise Security Package 클러스터에 대 한 기본 만들기 단계를 수행 합니다. 자세한 내용은 Enterprise Security Package를 사용 하 여 HDInsight 클러스터 만들기를 참조 하세요.
2. HDINSIGHT ID Broker 사용 을 선택 합니다.

HDInsight ID Broker 기능은 가장 연결 가능한브로커 클러스터에 추가 VM 하나를 추가 합니다. 이 VM은 HDInsight ID 브로커 노드 이며 인증을 지 원하는 서버 구성 요소를 포함 합니다. HDInsight ID 브로커 노드는 Azure AD DS 도메인에 가입 된 도메인입니다.

. image type="content" source="./media/identity-broker/identity-broker-enable.png" alt-text="HDInsight ID Broker를 사용 하도록 설정 하는 옵션을 보여 주는 다이어그램입니다." border="true".

Azure 리소스 관리자 템플릿 사용

다음 특성을 사용 하 여 라는 새 역할을 idbrokernode 템플릿의 계산 프로필에 추가 하면 HDINSIGHT ID Broker 노드가 활성화 된 상태로 클러스터가 생성 됩니다.

ARM 템플릿의 전체 샘플을 보려면 여기에 게시 된 템플릿을 참조 하세요.

HDInsight 도구는 기본적으로 OAuth를 지원 하도록 업데이트 됩니다. 이러한 도구를 사용 하 여 클러스터에 대 한 최신 OAuth 기반 액세스를 사용할 수 있습니다. HDInsight IntelliJ 플러그 인은 Scala와 같은 Java 기반 응용 프로그램에 사용할 수 있습니다. Visual Studio Code에 대 한 Spark 및 Hive 도구 를 사용 하 여 PySpark 및 hive 작업을 수행할 수 있습니다. 이 도구는 batch 및 대화형 작업을 모두 지원 합니다.

Azure AD DS에서 암호 해시가 없는 SSH 액세스

SSH 옵션	고려해 야 할 요소
로컬 VM 계정 (예: sshuser)	클러스터를 만들 때이 계정을 제공 했습니다. 이 계정에 대 한 Kerberos 인증이 없습니다.
클라우드 전용 계정 (예: [email protected] )	암호 해시는 Azure AD DS에서 사용할 수 있습니다. Kerberos 인증은 SSH Kerberos를 통해 가능 합니다.
온-프레미스 계정 (예: [email protected] )	SSH Kerberos 인증은 Azure AD DS에서 암호 해시를 사용할 수 있는 경우에만 가능 합니다. 그렇지 않으면이 사용자는 클러스터에 대해 SSH를 사용할 수 없습니다.

도메인에 가입 된 VM으로 SSH 하거나 명령을 실행 하려면 kinit 암호를 제공 해야 합니다. SSH Kerberos 인증을 사용 하려면 Azure AD DS에서 해시를 사용할 수 있어야 합니다. 관리 시나리오에만 SSH를 사용 하려는 경우 클라우드 전용 계정을 하나 만들어 클러스터에 대 한 SSH에 사용할 수 있습니다. 다른 온-프레미스 사용자는 Azure AD DS에서 암호 해시를 사용할 수 없는 경우에도 Ambari 또는 HDInsight 도구나 HTTP 기본 인증을 사용할 수 있습니다.

조직에서 Azure AD DS에 대 한 암호 해시를 동기화 하지 않는 경우 Azure AD에서 클라우드 전용 사용자 하나를 만드는 것이 가장 좋습니다. 그런 다음 클러스터를 만들 때이를 클러스터 관리자로 할당 하 고 관리 목적으로 사용 합니다. 이를 사용 하 여 SSH를 통해 Vm에 대 한 루트 액세스를 가져올 수 있습니다.

인증 문제를 해결 하려면 이 가이드를 참조 하세요.

OAuth를 사용 하 여 HDInsight ID Broker를 통해 HDInsight 게이트웨이에 연결 하는 클라이언트

HDInsight ID Broker 설정에서 게이트웨이에 연결 하는 사용자 지정 앱 및 클라이언트를 업데이트 하 여 필요한 OAuth 토큰을 먼저 획득할 수 있습니다. 이 문서의 단계에 따라 다음 정보를 사용 하 여 토큰을 가져옵니다.

• OAuth 리소스 uri: https://hib.azurehdinsight.net
• AppId: 7865c1d2-f040-46cc-875f-831a1ef6a28a
• 권한: (이름: Cluster. ReadWrite, id: 8f89faa0-ffef-4007-974d-4989b39ad77d)

OAuth 토큰을 획득 한 후에는 클러스터 게이트웨이에 대 한 HTTP 요청의 인증 헤더 (예: https://-int.azurehdinsight.net)에이 토큰을 사용 합니다. Apache Livy API에 대 한 샘플 말아 명령은 다음 예제와 같이 보일 수 있습니다.

Beeline 및 Livy를 사용 하는 경우 여기 에 제공 된 샘플 코드를 따라 OAuth를 사용 하도록 클라이언트를 설정 하 고 클러스터에 연결할 수도 있습니다.

AAD에서 HDInsight에 의해 생성 되는 앱은 무엇 인가요?

각 클러스터에 대해 타사 응용 프로그램은 identifierUri (예:)로 클러스터 uri를 사용 하 여 AAD에 등록 됩니다 https://clustername.azurehdinsight.net .

사용자가 설정 된 클러스터를 사용 하기 전에 동의를 요청 하는 이유는 무엇 인가요?

AAD에서 사용자를 인증 하거나 데이터에 액세스 하기 전에 모든 타사 응용 프로그램에 대 한 동의가 필요 합니다.

동의를 프로그래밍 방식으로 승인할 수 있습니까?

Microsoft Graph api를 사용 하 여 동의를 자동화할 수 있습니다. 동의를 자동화 하는 시퀀스는 api 설명서 를 참조 하세요.

[디지털데일리 백지영기자] 2001년 9월 11일 비행기 한 대가 뉴욕의 무역센터를 충돌한 끔찍한 사건, 미국은 물론이고 전세계인들에게 잊지 못할 충격을 준 9.11 테러는 여전히 큰 아픔으로 남아있다. 그런데 당시 미국 정부는 테러범을 어떻게 찾았을까.

그 중심에는 바로 미국의 데이터 브로커(Data Broker) 업체, 액시엄이 있다. 지난 1969년 설립된 액시엄은 전세계에서 가장 많은 데이터베이스(DB)를 보유하고 판매하는 기업이다.

수만대의 서버에 미국인 3억명을 포함한 전세계 약 7억명 이상의 소비자 정보를 저장하고 있으며, 저장된 개인 한명에 대한 정보가 약 1500여종에 이른다. 미국 연방 정부 뿐만 아니라 포춘 100대 기업이 이 회사에서 데이터를 구매해 비즈니스에 활용하고 있다.

액시엄은 9.11 테러 직후 미국 정부에 협조해 자사가 보유하고 있던 신원 정보 DB에서 19명의 비행기 납치범 중 11명의 신원의 정보를 찾아 제공했으며, 이를 비행기 탑승명단과 대조, 분석해 범인을 찾을 수 있었다.

데이터의 가치가 그 어느 때보다 중요한 빅데이터 시대에 접어들면서 국내에서도 데이터 브로커에 대한 관심이 높아지고 있다.

정보 재판매업자로도 불리는 데이터 브로커는 소비자의 개인정보 등을 수집해, 이를 제3자와 공유하거나 재판매하는 업체를 의미한다. 데이터 유통과 가공을 담당하는 데이터 브로커는 데이터의 활용 측면에서 빅데이터 생태계에서 중요한 역할을 담당하고 있다.

이와 관련, 데이터 컨설팅 업체 엔코아의 김옥기 데이터 서비스 센터장은 “모든 기업이 비즈니스에 활용하는 데이터를 수집, 분석할 수 있는 여건을 갖추고 있는 것은 아니며, 내부의 전사 데이터와 구매 데이터를 합쳤을 때 데이터 경제 생태계가 커진다”고 설명했다.

이미 미국에선 위에 언급된 액시엄을 비롯해 코어로직과 데이터로직스, 앱실론, ID애널리틱스, 픽유 등 많은 업체들이 오래전부터 데이터 브로커로 활약하고 있다. 김 센터장 역시 액시엄 출신이다.

김 센터장은 “미국에만 약 600~700개에 달하는 데이터 브로커가 활동하고 있으며, 가장 연결 가능한브로커 액시엄과 같은 기업들은 최근 기업 고객관계관리(CRM) 등 IT시스템 구축 등의 사업에서 IBM이나 액센추어와 같은 IT기업을 제치고 사업을 수주하는 사례가 늘어나고 있다”며 “이는 바로 이들 기업이 비즈니스 데이터를 보유하고 있기 때문”이라고 전했다.

실제 정보통신정책연구원의 최근 보고서에 따르면, 상위 9개의 미국 데이터 브로커 업체의 총 매출은 2012년 기준 4억2600만달러(한화로 약 4600억원) 규모에 달하는 것으로 분석된다.

국내에서도 빅데이터의 연결고리로 데이터 유통에 대한 관심이 높아지고 있다. 이미 한국DB진흥원이 운영 중인 데이터스토어의 경우, 지난 5월 기준 약 2200여개의데이터 상품을 유통하고 있으며 거래건수도 1140건을 넘고 있었다. SK텔레콤이나 LG CNS도 데이터 가공 및 유통 사업을 진행 중이다. 데이터 컨설팅 업체인 엔코아도 관련 사업을 준비 중인 것으로 알려진다.

다만 이러한 데이터 브로커 사업은 개인정보에 대한 오남용 등에 대한 우려가 있어 조심스러운 접근이 필요하다.

미국에서조차 다양한 소비자 정보를 연결, 분석하는 과정에서 민감한 프라이버시 문제를 야기할 가능성을 우려, 미국 공정거래위원회는 의회에 소비자가 데이터 브로커의 존재와 활동을 인지하고 이들이 보유하고 있는 개인정보에 합리적으로 접근할 수 있도록 하는 법률을 제정할 것을 권고한 바 있다.

국내 역시 방송통신위원회가 개인정보의 오남용 방지를 방지하고 빅데이터 사업 활성화를 위한 ‘빅데이터 개인정보보호 가이드라인’을 발표한 바 있다. 잇따른 개인정보유출에 따른 국민들의 반정서 극복과 개인정보보호의 범위와 수준에 대한 사회적 합의를 위한 지속적 논의가 필요하다는 지적이다.

정용찬 정보통신정책연구원 ICT 통계분석센터장은 ‘빅데이터 산업과 데이터 브로커’라는 보고서를 통해 “다양한 소비자 정보를 보유하고 있는 기업에 비해 ‘정보 약자’인 소비자의 자기 정보에 대한 권리 강화는 정보 유통의 투명성 제고와 소비자 신뢰 확보를 기반으로 할 때 데이터 유통 활성화와 빅데이터 산업 발전이 가능할 것”이라고 강조했다.

이어 그는 “또한 데이터 유통 활성화를 위해서는 데이터 보안과 암호화, 비식별화 등 개인정보보호를 위한 기술 개발이 중요하다”고 덧붙였다.

김옥기 센터장도 “데이터 활용을 통한 정확한 분석, 예측 능력이 곧 기업의 글로벌 경쟁력 확보, 더 나아가 국가 경쟁력과 직결될 것”이라고 말했다.