[인프라 솔루션] MS Azure | Azure Storage (스토리지)

들어가기 전에.. 

• VM의 [ disk, vNet, Pib, NSC (방화벽 , ... ] 각각의 서비스를 그룹핑하여 관리함 
• ARM ( Azure Resource Manager ) : Azure의 Resource룰 base로 관리함 
• VM을 제작하면 아래의 7개 서비스들이 grouping 됌 
• storage를 사용하기 위해서는 Storage Account(계정)을 만들어야함. 

Azure Storage 개념

Azure storage

• 데이터 저장하는 저장소로 내구성, 가용성, 확장성을 활용한 클라우드 저장소 솔루션

 

Azure storage 특징

• 내구성 및 고가용성: 중복을 통해 데이터를 안전하게 보호

• 보안: 모든 데이터는 서비스에 의해 암호화, 데이터에 액세스할 수 있는 사용자에 대한 세분화된 제어를 제공

• 액세스 가능: Azure storage의 데이터는 HTTP 또는 HTTPS를 통해 전세계 어디에서든 액세스 가능

• Azure service 146개 중 가장 저렴

Azure Storage 유형

Blob storage

• 대용량 비정형 데이터 또는 텍스트 저장 공간으로 이미지, 문서, 사진, 동영상 등 기타 데이터 저장
• Data blobs : exe. Doc. Jpg 아스키형식의 파일 형식 
• Containers : (=파일을 담고있는 껍데기 )
• DB : 개체(테이블)를 담고있는 껍데기 

• Page blobs > Hot storage 

  • OS에서 disk에 access할때, 최적화한 Random access를 의미 

• Block blobs:  > Cool Storage  

  • 가끔 access, ex)동영상, ISO형식 미디어,  

• Append blobs: 로그를 저장  

 

Table storage

• Key와 Value 값을 가지는 테이블 데이터 저장하는 저장소. 대규모 자동 스케일링으로 주로 IOT 기술에서 사용. 각 센서에서 작동되는 값을 대량으로 업로드해서 실시간으로 저장

Queue storage

• 사용자에게 자동으로 메일, 알림이 갈 수 있도록 임시적으로 저장한 후 작동시키는 저장소
• 메일이나 알림(Notification settings)에 사용 
• 하나의 메시지가 모든 사용자들에게 보내져야함 
• 대량의 데이터를 임시적으로 저장해놓은 스토리지

File storage

• 표준 SMB(서버 메시지 블록) 프로토콜을 사용하여 액세스할 수 있는 고가용성 네트워크 파일 공유 설정. 여러 VM이 읽기 및 쓰기 권한을 모두 사용하여 동일한 파일 공유 가능
• 공유 폴더에서 사용함 
• global 라우팅 가능 

 

Azure Storage 계정

Azure storage에 대한 모든 접근은 storage 계정을 통해 이루어짐

Storage Account 유형

• 범용 v2 계정

  • Blob, 파일, 큐 및 테이블에 대한 기본 저장소 계정 유형으로 대부분의 시나리오에 사용

• 범용 v1 계정

  • Blob, 파일, 큐 및 테이블에 대한 계정 유형으로 가능한 경우 V2계정을 대신 사용

• Blob storage 계정

  • 레거시 Blob 전용 저장소 계정으로 가능한 범용 V2 계정을 대신 사용

• File storage 계정

  • 파일 전용 저장소 계정 및 프리미엄 성능으로 엔터프라이즈 또는 고성능 확장 응용 프로그램에 권장

 

Azure Storage 만들기

1. 새로 만들기 > 저장소 > 스토리지 계정 클릭
   ○ 경로: Home > New > Storage account > Create storage account 

 

2. 스토리지 계정만들기 기본사항 입력

• Basics 

Resource group : RG_TEST_1211 

Storage account name : udy1211 

Performance : Premium  

Account kind : StorageV2  

Replication : Locally-redundant storage (LRS)  

    *LRS: 하나의 데이터센터 내에 Storage생성시 3개의 복제물을 생성 

     GRS: 한 데이터 센터에서 다른 세이터 센터로 복제 

     RA-GRS: 주센터에서는 Read&Write, 복제 센터에서는 Read만되는 복제  

     (preview): 새로들어온 test 버젼 서비스  

 

• Networking : default settings 

Connectivity method : Public endpoint 

*Public endpoint: 회사에서 storage 접근가능 

 Private endpoint: 외부에서 storage로 접근불가 

• Advanced : default settings 

• Tags : default settings 

• Review + create > Create 

3. 스토리지 계정 만들기 >> 검토+만들기

4. 스토리지 계정 확인

1. Azure storage 표준 계정 만들기

1. Azure 서비스 > 스토리지 계정 클릭

2. 스토리지 계정 추가 클릭

3. 스토리지 계정만들기 > 검토+만들기

복제 옵션 선택 가능

• LRS(Locally-redundant storage)

  • 하나의 데이터 센터에 복제본 만듦

• GRS(Geo-redundant storage)

  • 데이터 센터 단위로 다른 데이터 센터로 3개의 복사본 만듦. ex) 서울 리전에 1개, 부산 리전에 2개

• RA-GRS(Read-access geo-redundant)

  • 주센터에서는 읽기, 접근가능하지만 복제 데이터 센터에서는 읽기만 지원 되는 것.

가상네트워크 연결 옵션 선택 가능

• public

  • 회사에서 storage로 접근할 수 있다

• Private

  • 회사에선 storage로 접근이 안 되고 azure에서만 접근 가능

Access tier

• 비용과 관련된 부분으로 얼마나 자주 접근하느냐가 기준
  • Hot: 빠르고 빈번하게 access 한다
  • Cool: 덜 빈번하게 access한다

2. Container(컨테이너) 만들기

• Storage Explorer 설치 

• Container란 데이터 저장하는 공간.

• 한 계정으로 무제한 수의 Container 생성 가능

1. 스토리지 계정 내 컨테이너 클릭

2. 컨테이너 추가

• 공용 액세스 수준
  • Private: 계정 소유자만 접근 가능
  • Publice Blob: 컨테이너 읽기 접근을 공개하나, 컨테이너 속성 접근 불가능하도록 설정,
    Blob파일, 데이터만 Access
  • Public Container: 컨테이너에 대한 읽기 접근과 컨테이너에 대한 접근도 가능하도록 설정
    하위 컨테이너,블롭데이터 까지 엑세스가능, 요청시 익명으로 읽기 가능

Share – Blob데이터 생성 

• Upload > exe. Blob 파일을 업데이트 가능함.  

• Azure Storage Explorer > upload파일 확인  

 

 

 

3. 컨테이너 생성 확인

3. Container 계정에 파일 업로드 하기

1. Blob 파일 업로드

2. share 에 파일 확인

3. 웹에서 파일 업로드 됌을 확인

• Blob storage access URL
  Azure > containers>share>파일.pdf> overview >URL https://<Storage Account>.blob.core.windows.net/<Container name>/<Folder name>/<File name>.pdf   >>Chrome으로 open 

• 이런 방식으로 익명으로 pdf파일에 접근하여 Read 가능

4. SAS (Shared Access Sigmatures) 설정하기

• SAS 생성
• 권한 - 읽기
• 시작 및 만료 날짜/ 시간 지정
• 허용되는 프로토콜 - HTTPS
• SAS 토큰 및 URL 생성

• 접근 제한 및 기간 설정 가능
  • URL에 접근 권한과 기한을 명시하여 인증 후에 접근하도록 설정 가능
  • 접근 기간을 설정하여 특정 기간(시간)동안 접근 허용할 수 있도록 설정 가능
  • Read, Write, Update, Delete에 대한 동작 제어 가능
  • URL SAS Token 주소로 인터넷 접근 가능
• Azure > containers>share>파일.pdf > Generate SAS 
  특정기간까지 access할 수 있거나 / permission을 주는 권한부여 할 수 있는 창 
• Shared access signature (SAS) 
  • HTTPS : TCP443 (암호화)  
  • HTTP : TCP80 (암호화X) 
  • 100GB (2진법) 98GB정도 들어감  
  • vs 100GiB(10진법) 100GB정확하게 들어감 
•  File Storage - 공유폴더 설정 
  공유 포트 (SMB3.0) 시작>실행> wf.msc (고급방화벽) ,> NSG (Network Security Group) 
  • TCP 445 => 이 포트만 열어주면 됌. 
  • TCP 139 
  • UDP 138
  • UDP 137 

    명령어 : Net use y: \\IP\폴더명 /u:TEST

Storage explore 만들기

Storage explore 란?

• Azure storage 데이터 작업 시에 사용할 수 있는 Microsoft의 무료 도구

• Storage explorer 사용하여 파일 탐색기처럼 편리하게 데이터 관리 가능

https://azure.microsoft.com/ko-kr/features/storage-explorer

1. Azure Storage Explorer 접속

2. Azure Storage Explorer 설치

3. Azure Storage 에 연결

 

Storage explorer 사용하여 파일 업로드하기

 

 

웹에서 pdf 파일 확인 가능

Storage 계정에 파일 공유 만들기

1. 스토리지 계정 > 개요 > 파일 공유 클릭

 

2.파일 공유 > 이름 > 할당량 > 만들기

 

3. 파일공유 확인

Storage explorer 사용하여 파일 업로드하기

업로드한 파일들 Azure portal과 storage explorer에서 모두 확인 가능

 

참고 자료

https://docs.Microsoft.com/ko-kr/azure/machine-learning/team-data-science-process/move-data-to-azure-blob-using-azure-storage-explorer

https://docs.Microsoft.com/ko-kr/azure/storage/common/storage-introduction

https://docs.Microsoft.com/ko-kr/azure/storage/blobs/storage-blobs-introduction