안산드레아스

리눅스에서 쿼터 기능을 제공하는데, 데이터 자원은 유한함으로 정해진 용량을 할당하고, 그 이상을 초과 하게 해서는 안된다. 특히 클라우드에서도 한정된 용량을 제한하고, 돈을 더 지불해야 용량을 확장해 주는데, 그 기능도 역시 쿼터 기능을 사용하여 부여한다.

아래 그림은, CentOS의 중요 시스템은 sda 디스크에서 사용하고, 새로 생성한 유저들이 만든 데이터는 모두 sdb로 저장하도록 한다. 그러나 sdb에서도 유저별 할당공간을 제한하여 자원을 관리한다.

작업순서는 아래와 같다.

새로운 디스크 장착 및 마운트  ->  /etc/fstab 쿼터기능추가, 유저추가, sdb 재마운트 ->  유저별 quota할당

===<<새로운 디스크 장착 및 마운트>>===

1.  VMware 세팅으로 진행

2.  20G짜리 새로운 하드를 추가

3. sdb 디스크 파티셔닝

    (자세한 방법은 아래 참고)

ansan-survivor.tistory.com/476

속성으로 파티셔닝 하기

fdisk /dev/sdb
n
p
1
엔터
엔터
p
w

4. 파일 시스템 포맷하기

mkfs.ext4 /dev/sdb1

5. 새로추가될 유저들이 사용할 HOME 디렉터리 생성

mkdir /newUserHome

6. 마운트 하기

mount /dev/sdb1 /newUserHome

7. /etc/fstab 등록 (재부팅 후에도 마운트 적용 되도록)

vi /etc/fstab

8. 재부팅

reboot

===<< /etc/fstab 쿼터추가, 유저추가, sdb 재마운트 >>===

1. 유저 생성, Password생성

useradd -d /newUserHome/tom 	tom
useradd -d /newUserHome/jerry 	jerry
useradd -d /newUserHome/pet 	pet
useradd -d /newUserHome/met 	met

2. /dev/sdb1 을 quota용 디스크로 지정

vi /etc/fstab

    아까 추가한 라인을 quota용 디스크로 수정

/dev/sdb1	/newUserHome	ext4	defaults,usrjquota=aquota.user,jqfmt=vfsv0	1 2

3. 재부팅 또는 리마운트 (에러 메세지가 나오면 안된다)

mount --options remount /newUserHome

    (마운트 됐는지 확인)

mount

4.  /newUserHome에 quota관련 파일 생성

cd /newUserHome

quotaoff -avug
quotacheck -augmn
rm -rf aquota.*
quotacheck -augmn

touch aquota.user aquota.group
chmod 600 aquota.*

quotacheck -augmn
quotaon -avug

=== << 유저별 quota할당 >> ===

1. 유저 "tom"의 quota를 수정

    *  soft는 할당된 범위를 넘어갈 수 있지만, 기간 제한이 있는 것. (일정 기간 지난후 데이터가 사라짐)

    *  hard는 엄격하게 할당된 범위를 넘어갈 수 없음

    *  할당 단위는 kbyte 단위 (10mega = 1024 x 10 = 10240)

edquota -u tom

2.  (테스트) tom의 파일을 10 mega ~ 15 mega 초과해보기

    (tom 으로 계정 변경하고 home으로 이동)

su tom
cd ~

     tom의 홈디렉터리에 "test"라는 약 6.6 mega짜리 파일을 복사 붙여넣기로 10mega 초과시키기

    복사하여 약 13.2 mega가 되니까 저런 Warning이 뜬다.

    한번더 복사하여 약 19.8 mega로 만드니까 15 mega limit에 걸려서 error가 뜨고 고작 2 mega정도만 복사됨. 

    현재 quota를 확인하기

quota

결론 : 지금 생성한 파일은 10 mega까지 안전하고, 나머지 5mega는 7일 후 사라짐으로 그 이내 조취를 취해야 한다.

3. 전체 사용중인 user의 quota를 리포트를 보기 (root에서만 가능)

(root 계정으로 변경)
su
repquota /newUserHome/

4. "tom"의 설정을 "jerry" 유저에게도 복사하기, 그리고 확인하기

edquota -p tom jerry
repquota /newUserHome/

만약 잘 동작하고있는 리눅스가 하나의 하드디스크가 고장이 나면 접속이 불가능 할 뿐만 아니라 멈추게 된다.

Raid 1 방식을 이용하면 서로 동일 데이터가 복사된다. 하나의 하드가 고장이나도 CentOS 실행이 가능하며, 고장나지 않은 부분에 데이터도 저장되어있다. (Synology Nas서버가 이런식으로 구성)

VMware를 이용해 2개의 50G 짜리 디스크를 만든다.

1. New Virtual Machine

2. 이름입력, 저장공간 입력

3.

4. 새로운 하드 생성

5.

6.

7.

8.

이제 CentOS 7 CD를 넣고 구동시켜본다.

그리고 설치를 진행

1. CD삽입

2. 설치

3. 하드디스크 선택

        Raid에서는 설치 디스크를 정해주어야 한다.

4. 파티션 구성하기

    4-1. Swap 파티션 구성

     Raid 1로 지정

    4-2. 루트( / )에 나머지 모두 할당, Raid 1 지정

5. 설치 시작 (CentOS 7) 설치하는 것과 똑같다. (root 관리자 암호를 알아서 지정하여 진행)

* 결과 확인하기

mdadm --detail /dev/md/root

Raid 1 방식에 2개 장치 그리고 미러 방식이므로 50G로 잡혀있다.

아래 포스팅에서 VMware를 이용해 의도적으로 하드디스크 일부가 고장났다고 가정하고,

Raid1과 Raid5의 장점을 보여줬다. 즉, 데이터가 손상되지 않는다.

하지만 고장난 부분을 교체하고 새로은 하드를 장착할 필요가 있다.

ansan-survivor.tistory.com/509

이제 아래 그림에서 보듯이,

sdc, sde, sdg, sdi 를 복구 시킨다. (실제 서버라면 새로운 하드를 갈아 낀다.)

1. VMware에서 다시 새 하드 4개를 추가한다. (아래 링크 참고)

ansan-survivor.tistory.com/483?category=363952

추가를 하면, 자동으로 비어있는 하드자리에 배치가 된다.

2. 실행 후, 디스크 확인, 파티셔닝

ls -l /dev/sd*

     1 이 붙어있지 않다는 것은 장착만 되어있을 뿐 파티셔닝이 되어있지 않다는 것이다.

아래 포스팅을 참고하여, 4개의 하드를 다시 파티셔닝한다.

ansan-survivor.tistory.com/483?category=363952

sdc, sde, sdg, sdi 순서대로 입력하여 파티셔닝 (4개)

fdisk /dev/sdc
n
p
1
엔터
엔터
t
fd
w

전부 파티셔닝이 된것을 확인.

2. 기존에 작동중인 하드를 멈추고, 새로 다시 Linear Raid와 Raid0 를 만들어야 한다.

mdadm --stop /dev/md1
mdadm --create /dev/md1 --level=linear --raid-devices=2 /dev/sdb1 /dev/sdc1
y

mdadm --stop /dev/md2
mdadm --create /dev/md2 --level=0 --raid-devices=2 /dev/sdd1 /dev/sde1
y

확인하기

mdadm --detail /dev/md1
mdadm --detail /dev/md2

3. Raid1 이나 Raid5 는 삭제하면 데이터가 손상됨으로, 추가만 해주면 된다.

mdadm /dev/md3 --add /dev/sdg1
mdadm /dev/md4 --add /dev/sdi1

    /etc/fstab 추가

vi /etc/fstab

추가 후, 뒷부분1 2 입력 (오류체크)

4. 마운트, 파일시스템 입력 후 재부팅 (Linear Raid와 Raid0는 새로 만들었음으로)

umount /dev/md1
mount /dev/md1
mkfs.ext4 /dev/md1

umount /dev/md2
mount /dev/md2
mkfs.ext4 /dev/md2

reboot

ansan-survivor.tistory.com/483?category=363952

ansan-survivor.tistory.com/491?category=363952

ansan-survivor.tistory.com/500?category=363952

앞에 3개의 포스팅에서 만든 10개의 Raid 하드디스크를 Vmware에서 삭제하여 마치 고장난것과 같은 상태를 만든다.

*VMware 하드 지우기 (하드의 고장 가정)

Advanced를 눌러서 해당 케이블이 내가 삭제하고자 하는게 맞는지 확인 후 삭제

아래와 같은방식으로 디스크 삭제

 그리고나서 부팅, 부팅으로 시도하지만 정상적이지 않아서 좀 오래 걸린다. 그 후 응급복구모드로 들어간다.

(응급복구 모두 접속법)

ansan-survivor.tistory.com/447

먹통일 때, 아래와 같은 창이 뜨며,  root 패스워드를 입력하여 접속

그러면 root의 프롬프트 #이 뜬다.

현재 장치 확인

ls -l /dev/sd*

제거된 디스크를 제외하고, 앞에서부터 알파벳순을 당겨서 카운트 한다.

마운트된 디스크를 확인해본다.

df

그러면 앞서 만든

Linear Raid (md1), Raid0 (md2)

는 사라졌고, 남아있는 Raid 디스크는

Raid1 (md3), Raid5(md4) 밖에 없다.

다시말해, Raid1과 Raid5는 데이터가 그데로 백업되어 보존된다.

md3 (Raid1) 좀 더 자세히 보기

mdadm --detail /dev/md3

HDD가 2개인데 1개가 사라졌다는걸 알 수 있다.

md4 (Raid5) 좀 더 자세히 보기

mdadm --detail /dev/md4

HDD가 3개인데 1개가 사라졌다는걸 알 수 있다.

(참고) 사라진 Linear Raid(md1)은 아래보면 아무것도없다. 데이터도 손상되어 복구가 불가하다.

<고장난 Raid하드 제외시키고 다시 CentOS가동시키기>

1. Linear Raid0 (md1)과 Raid0 (md2) 가동중지

mdadm --stop /dev/md1
mdadm --stop /dev/md2

2. fstab 목록에서 제외시키기 (주석으로 제외)

vi /etc/fstab

3. 재부팅한다. (즉, Raid1과, Raid5만 작동되는 상태로 부팅)

reboot

응급복구모드가 아닌 아래 화면으로 잘 접속되었다.

이제 계정으로 접속하여 필요한 데이터를 백업시켜놓으면 된다.

결론, Linux의 하드고장으로 데이터가 다 날라갈 수 있으니, 최소 Raid1 이나, Raid5 방법으로 구성해 놓으면 좋다.

(raid1 : 최소 동일사양 하드 2개 필요)

(raid5 : 최소 동일사양 하드 3개 이상 필요)

고장난 Raid HDD 복구 (아래 포스팅)

ansan-survivor.tistory.com/510

(VMware에 Raid하드 구축하기)

ansan-survivor.tistory.com/483

Raid0, Raid1, Raid5 를 구축하는 것도, 방법은 Linear Raid를 만드는 것과 거의 동일하다.

ansan-survivor.tistory.com/491

아래 구축한 하드 형태로 Raid0 ~ Raid5 까지 구축한다.

ansan-survivor.tistory.com/483

아래 그림처럼

Raid0 : md1

Raid1 : md2

Raid5 : md3

으로 구축해본다.

============<Raid0 구축>=============

1. md2 이름, Raid0, 장치2개, sdd1 과 sde1을 할당

mdadm --create /dev/md2 --level=0 --raid-devices=2 /dev/sdd1 /dev/sde1

    (잘생성되었나 확인)

mdadm --detail /dev/md2

2. 포맷하기 (ext4파일시스템, md2에 포맷)

mkfs.ext4 /dev/md2

3. /raid0 디렉터리 생성 후 마운트하기

mkdir /raid0
mount /dev/md2 /raid0

    잘되었는지 확인

df

4. /etc/fstab에 등록(재부팅후에도 마운트 되도록)

vi /etc/fstab

젤하단에 추가

/dev/md2                /raid0	             ext4    defaults        0 0

Raid1, Raid5도 위와 동일한 방법으로 생성. (Raid5는 하드가 3개)

============<Raid1 구축>=============

1. md3 이름, Raid1, 장치2개, sdf1 과 sdg1을 할당

mdadm --create /dev/md3 --level=1 --raid-devices=2 /dev/sdf1 /dev/sdg1

2. 포맷하기 (ext4파일시스템, md3에 포맷)

mkfs.ext4 /dev/md3

3. /raid1 디렉터리 생성 후 마운트하기

mkdir /raid1
mount /dev/md3 /raid1

4. /etc/fstab에 등록(재부팅후에도 마운트 되도록)

vi /etc/fstab

/dev/md3                /raid1	             ext4    defaults        0 0

============<Raid5 구축>=============

1. md4 이름, Raid5, 장치3개, sdh1 과 sdi1 과 sdj1을 할당

mdadm --create /dev/md4 --level=5 --raid-devices=3 /dev/sdh1 /dev/sdi1 /dev/dej1

2. 포맷하기 (ext4파일시스템, md4에 포맷)

mkfs.ext4 /dev/md4

3. /raid5 디렉터리 생성 후 마운트하기

mkdir /raid5
mount /dev/md4 /raid5

4. /etc/fstab에 등록(재부팅후에도 마운트 되도록)

vi /etc/fstab

/dev/md4                /raid5	             ext4    defaults        0 0

전체 확인하기

** 재부팅해서 raid가 제대로 등록되었는지 확인한다 **

reboot

Raid는 실제 장착된 여러하드를 마치 하나의 Volume으로 묶어서 작동하도록 만드는 기술이다. (아래 참고)
ansan-survivor.tistory.com/483

VMware로 여러하드를 추가하여 (마치 여러하드가 있다고 가정하여) 실습, VMware하드 추가는 위 링크 참고

과정은 아래와 같다.

1. 2개의 하드를 1개의 LV를 묶음 (/dev/md1  디렉터리 생성해서 할당)

2. 묶은 LV에 파일시스템 포맷 

3. 마운트

4. /etc/fstab에 등록 후 재부팅

*디스크(sdb, sbc) 확인

  fd가 Linux raid autodetect로 되어있는지 확인. 안되어있다면, 위 링크 참고하여 변경

fdisk -l /dev/sdb /dev/sdc

1. 2개의 하드를 1개의 LV를 묶음 (명령어 mdadm), LV이름은 md1으로 정했다.

mdadm --create /dev/md1 --level=linear --raid-devices=2 /dev/sdb1 /dev/sdc1

2. raid volume이 잘 생성되었는지 확인

    2-1. Raid가 잘 도는지 확인 명령어

mdadm --detail --scan

    2-2. Raid에 대해 자세히 확인 (raid LV의 디렉터리를 입력)

mdadm --detail /dev/md1

3. 파일시스템 포맷 (ext4 파일시스템으로 포맷시킴)

mkfs.ext4 /dev/md1

4. 마운트를 시킬 나만의 디렉터리 생성 후 마운트

mkdir /raidLinear
mount /dev/md1 /raidLinear/

    마운트 잘되었는지 확인

df

5. /etc/fstab에 등록 후 재부팅

vi /etc/fstab

젤하단에 추가

/dev/md1                /raidLinear             ext4    defaults        0 0

재부팅

reboot

(결과)

아무파일을 생성해 /raidLinear 에 넣으면 Linear raid이므로 sdb부터 차곡차곡 쌓여서 꽉차면 sdc로 데이터가 넘어가게 된다.

touch /raidLinear/test.txt

Raid0, Raid1, Raid5 구축하기

ansan-survivor.tistory.com/500

Raid의 개념 (아래 참고)

jerrystyle.tistory.com/56

요약,

Linear Raid : 최소 2개 하드디스크를 1개의 Volume으로 사용, 앞에서 부터 순차로 데이터 저장

Raid0 : 최소 2개 이상의 하드디스크에 동시에 저장 (속도 빠름), (하나라도) 디스크 고장시 데이터 손실

Raid1 :  최소 2개 이상하드 필요, 같은 데이터를 동시에 2개에 저장. 하나 고장시 복구 가능, Volume 비효율

Raid5 : 패리티방식 사용, 최소 3개의 이상의 하드디스크 필요, 공간효율 최고 (제일 일반적으로 많이 씀)

Raid6 : Raid5를 개선한 형태, 최소 4개 이상의 하드디스크 필요 

Linear Raid 구축하기

실제 하드디스크를 구매할 수 없으므로, 가상 HDD를 Vmware를 이용해 테스트 해본다.

실제 아래와 같이 HDD를 구매하여 장착한다고 가정하고, SCSI 케이블10개에 아래와 같이 하드를 연결

SCSI 0:7은 Vmware에서 사용중이므로 사용불가 (VMware가 아니면 가능)

1. 위 그림처럼 하드 장착시키기

하드 추가 완료 (전부 2GB짜리로 추가했다)

    실행하면 위에 추가한 하드가 쭉 나열되어 있다.

하드가 잘 장착되었는지 확인

ls -l /dev/sd*

여기서 뒤에 숫자가 없는것은 장치만 연결되어 있는 것이고, 숫자는 파티셔닝이 되었다는 것을 의미

즉 나머지 sdb, sdc~ sdj는 장치연결이 되어있고 파티셔닝이 안된 상태

반면 sda는 장치연결 + 2개 파티셔닝 (root, home)

===========================================

2. 장치에 파티셔닝 (fdisk 파티션관리 명령어)

    2-1. 

fdisk /dev/sdb

    2-2.  n 입력

    2-3.  p 입력 -> 1 입력 -> 엔터키(default크기)

        p를 입력하면 현재 파티셔닝을 print함.

        2GB가 잡힌것을 확인, System이 Linux로 잡힌것을 확인. 그러나 Linux형태는 Raid를 사용 불가

3. 파티션 System id를 바꾸기 (Raid로 사용하기 위해)

    t 입력 (system id 변경)

(L 누르면 Hex code 종류 확인)

 83번(Linux)로 되어있는 것을 -> fd (Linux raid auto) 로 id변경

    fd 변경 후 p로 프린팅하면 아래와 같이 sdb1 에 fd Linux raid autodetect가 잡힌걸 볼 수 있다.

    w를 누르면 파티셔닝 종료

==============================

속성으로 raid 파티셔닝 만들기 (sdc 파티셔닝)

1.

fdisk /dev/sdc

2.

n

3.

p

4. 

1
엔터
엔터

5.

t
fd
p
w

그 외 하드디스크도 같은 방법으로 sdd ~ sdj 까지 raid파티셔닝이 가능하다

(결과확인)

ls -l /dev/sd*

(Linear Raid만들기 아래 링크 참고)

ansan-survivor.tistory.com/491

컴퓨터의 하드디스크 장착에는 IDE, SATA, SCSI 등이 있다.

비록 오래된 블로그 이긴하지만 내용을 개략적으로 이해하는데 도움 된다.

blog.naver.com/skyluvtoya/100120822628

여러 저장장치가 있지만, 여기서는 리눅스 서버라는 가정하에 서버에 많이 사용되는 SCSI 방식으로 가정하여 진행한다.

윈도우에서는 하드디스크를 연결해주면 알아서 잘 잡아주지만,

리눅스에서는 아래와 같은 과정을 거쳐야 한다.

=================================

1. 하드디스크 구매하여 장착 ( 하나 장착할 때마다 sda, sdb, sdc, sdd, ... 순으로 이름이 지정된다)

2. 케이블 연결

3. 하드디스크에 파티션을 나눔 ( sda하나의 파티션을 나눌때마다 sda1, sda2, sda3, sda4... 순으로 이름이 지정된다)

4. 파티션에 파일시스템 생성(mkfs = make file system, ext4)

5. 리눅스OS에 파티션을 마운트 (소프트웨어 - 하드웨어 연결)

6. /etc/fstab에 내용을 저장하고 reboot (리눅스에게 잊지 않도록 각인)

================================

(아래 자료도 보면 좋다)

ansan-survivor.tistory.com/45

여기서는 실제 서버 하드를 장착할 수 없으므로 VMware를 이용해 가상으로 진행한다.

SCSI 하드를 여러개 장착한다는 가정하고 진행. (참고로 SCSI는 아래와 같이 여러 하드를 장착할 수 있다, 케이블 번호)

하드디스크의 용량이 부족하다는 가정 하 리눅스에서 어떻게 추가하는지 실습

1. 가상머신이므로 하드가 하나 있다고 가정하여 가상의 하드를 추가한다.

2. 어떤 케이블에 장착되었는지 확인

       부팅을 하면 우측상단에 하드가 몇개인지 뜬다.

3. 파티션 나누기

    3-1. 내 현재 파티션 확인하기

ls -l /dev/sd*

    fdisk 파티션 나누기 명령어

fdisk /dev/sdb

    m을 누르면 fdisk명령어 메뉴얼 보기

    3-2. n을 눌러 새로운 파티션 만들기

p : 주파티션 (권장 사용)

e : 확장파티션

그냥 p를 눌러 primary파티션을 사용한다. (최대 4개까지 사용가능)

4개 이상 필요시, 3개파티션은 p로, 마지막 파티션은 e로 한 후, 논리 파티션으로 분리

    3-3. 범위 설정 (0~2047 까지는 시스템 영역, 2048이후 영역설정

          (그냥 엔터키만 누르면 default 세팅된다. 처음부터 끝까지)

    p를 누르면 파티션이 어떻게 잡혔는지 partition table이 띄워진다.

    w (wrtie)키를 눌러 지금까지 설정한 부분을 저장

    다시 명령어로 확인하면, sdb1 이 생긴걸 볼 수 있다.

ls -l /dev/sd*

4. 파일 포맷하기 (포맷은 파티션 나눈 이후인(뒤에 숫자가 들어간) sdb1 을 해야 한다 )

    centOS 7 에 잘 돌아가는 파일시스템 ext4로 sdb1을 포맷한다.

mkfs.ext4 /dev/sdb1

5. 마운트 하기

    5-1. 마운트할 디렉터리 만들기 (root아래 mydisk 디렉터리로 생성)

mkdir /mydisk

    5-2. /dev/sdb1 을 /mydisk 로 마운트 시키기

mount /dev/sdb1 /mydisk

    5-3. df 명령어로 공간할당 확인

6. 재부팅 후에도 자동으로 마운트 시키기

vi /etc/fstab

이제 새로 추가한 하드디스크를 리눅스에 마운트하여 사용할 수 있다.

리눅스 파티션을 늘렸다가 줄였다가하는 방법은 아래 참고

ansan-survivor.tistory.com/296