Linux系統管理

1.存儲管理

傳統的磁盤分區

RAID技術，軟RAID的實現

LVM

文件系統管理

ext，xfs，btrfs(了解)

2.程序包管理

rpm、yum、dnf

3.sed、gawk

4.進程管理

5.網絡管理

網絡基礎知識(Cisco CCNA+CCNP)

網絡屬性管理

網絡參數監測

6.Linux內核管理

內核編譯和安裝

內核的裁剪

定制內核

7.Linux系統啟動流程

CentOS5、6、7

8.系統安裝

kickstart、dhcp、pxe

9.shell腳本的完善

Linux存儲管理

磁盤的接口類型：

IDE：并口，來源于ATA，133Mbps

SCSI：并口，

UltraSCSI320：320Mbps

UltraSCSI640：640Mbps

窄帶：7 ?14

寬帶：15 ?30

SATA：Serial ATA，串口

SATA1 2 3 6Gbps

SAS：串口

6Gbps

USB：

1.0 1.1 2.0 3.0:480Mbps 3.1:10Gbps

雙通道：160MBps

IOPS：每秒IO次數

IDE：機械硬盤，50IOPS

SCSI：機械硬盤，100-200IOPS

固態硬盤，400左右

SATA：機械硬盤：100左右

固態硬盤，400

SAS：機械硬盤，200左右

固態硬盤，800左右

PCI-E固態硬盤：100000+ ? ES3000 ? DEC

IDE：主板上兩個接口，4塊IDE硬盤

SATA：4-6接口，4-6塊硬盤

SCSI：7 ?15

SAS：16384塊硬盤

寫一個腳本，向每個默認shell為bash的用戶問好，如：Hi root

#!/bin/bash

#

for I in $(grep "bash$" /etc/passwd | cut -d: -f1) ; do

echo "Hi $I"

done

回顧：

while until select case

break continue

function

Linux系統管理

存儲管理

機械硬盤：

track：磁道，

sector：扇區，512Bytes，現在所說的扇區，實際上是平均值；

cylinder：柱面，從磁道向所有盤片做投影

partition：分區，分區就是基于柱面來劃分的存儲空間

head：磁頭，每個磁盤表面都有一個磁頭；

設備文件：/dev

設備文件是關聯到硬件設備的驅動程序和設備的訪問入口；

設備號：

major：主設備號，區分設備的類型，用于標明設備所需的驅動程序；

minor：次設備號，區分同種類型下的不同設備，是特定設備的訪問入口；

mknod命令：

mknod - make block or character special files

mknod [OPTION]... NAME TYPE [MAJOR MINOR]

設備類型：

塊設備：用于隨機訪問的設備，數據存儲和交換的單位是塊；

字符設備：用于線性訪問的設備，數據的交換單位一般是字符；

設備文件名：IANA-->ICANN

/dev/

IDE：hd[a-d]

SCSI/SATA/SAS/USB：sd[a-z]

RHEL6、CentOS6開始：

所有的接口類型的硬盤設備統一命名為sd[a-z]

設備引用方式：

設備文件名

卷標(Volume Lable)

link

UUID：全局唯一標識符，128bit

如何使用一個新的硬盤設備？

分區

創建文件系統(格式化)

掛載分區

為何分區？

1.優化I/O性能

2.實現磁盤空間的配額限制

3.進行高速修復

4.隔離系統文件和其他程序文件

5.安裝多個操作系統

如何分區？

MBR：硬盤空間小于2TB

MBR：Master(Main) Boot Record, 主引導記錄，起源于1982年，

0磁道0扇區：512Byte

446Bytes：boot loader，引導加載程序，GRUB

64Bytes：partition table，分區表，每16Bytes表明一個分區的內容；因此一共有四個主分區；

注意：

1.主分區+擴展分區，最多可以有4個，其分區表位的編號依次為：1,2,3,4

2.邏輯分區的編號從5開始，不管前面的四個數字編號是否被占用；

2Bytes：結束標記，55AA

GPT：硬盤空間大于2TB

GUID Partition Table，GUID分區表，支持128個分區

UEFI(統一擴展固件接口)的硬件可以支持GPT ?Boot Legacy

通常使用的分區工具：

fdisk：

用于創建和管理MBR分區，對于一塊硬盤，最多只能管理15個分區；

gdisk：GNU disk

用于創建和管理GPT分區，

如果使用fdisk或gdisk命令對于已經有分區并掛載的磁盤的剩余空間進行再次分區，分區的信息即便是保存了，也不會被內核重新讀取；如果要讓內核識別此類分區：

1.重啟計算機；

2.partprobe命令或者partx命令，強制內核重讀分區表；

CentOS5/7：partprobe -a [device] 如果省略了設備名，則表示重讀所有磁盤的分區表

CentOS6/7：partx -a [device]

kpartx -af [device]

fdisk分區示例：

fdisk - Partition table manipulator for Linux

fdisk -l [device...]

查看指定磁盤的分區表，如果省略device參數，則顯示所有磁盤設備的分區表；

fdisk device

對于指定設備進行分區管理；

fdisk子命令：

d ? delete a partition

l ? list known partition types

m ? print this menu

n ? add a new partition

e ? extended

p ? primary partition (1-4)

l logical

p ? print the partition table

q ? quit without saving changes

t ? change a partition's system id

w ? write table to disk and exit

parted：GNU

高級分區工具，實時生效；

parted - a partition manipulation program

parted [options] [device [command [options...]...]]

parted /dev/sdb mklabel gpt|msdos

parted /dev/sdb print

parted /dev/sdb mkpart primary 1 200

parted /dev/sdb rm 1

~]# echo '- - -' > /sys/class/scsi_host/host2/scan

強制內核識別在開機狀態下插上的SCSI接口的磁盤

寫一個腳本，將一個命令所依賴的共享庫文件復制到/mnt/sysroot/lib64目錄中，如果庫文件已經存在于目標目錄中，就不復制。

#!/bin/bash

#

DEST=/mnt/sysroot/lib64

if [ ! -d $DEST ] ; then

mkdir -p $DEST

fi

until [ "$CMD" == 'quit' ] ; do

read -p "give me a command: " CMD

if which --skip-alias $CMD &> /dev/null ; then

for I in $(ldd $(which --skip-alias $CMD) | grep -o "/[^[:space:]]\+") ; do

SRCLIB=$(basename $I)

if [ ! -e ${DEST}${SRCLIB} ] ; then

cp $I $DEST

fi

done

else

echo "Command not invalid."

fi

done

回顧：

機械式硬盤的基本術語和工作原理

使用新硬盤

分區

創建文件系統——格式化

掛載

分區方法：

fdisk parted

partprobe ?partx -a device

創建文件系統：

FHS /bin /dev /etc

權限

文件的命名規則

為什么要創建文件系統？

一百萬冊圖書

平面分類管理

想要搜索需要的圖書，需要遍歷；

空間分類管理

門類

幾次有限的但有效的查找即可；

創建文件系統實際上就是給分區進行存儲空間的邏輯編址；

格式化：

低級格式化：

物理層面完成格式化，在磁盤設備出廠時，通過低級格式化來創建磁道；

主要作用：劃分磁道

高級格式化：

分區之后進行，

主要作用：用來創建文件系統，為分區構建邏輯編址單元，簇，塊

無論是簇還是塊，都是將一個或多個扇區組織在一起，共同完成數據存儲；

簇：512B 1024 2048 4096 8192 16384 32768 65536

塊：1024 2048 4096

注意：

1.一個塊只能放置一個文件的內容，一個文件可以占用多個塊；

2.如果在某個分區中，將創建大量的小文件，把塊劃分的小一些；反之，塊就大些

3.如果分區空間比較大，塊也應該大一些；

在一個分區中創建了文件系統：

首先，會將分區劃分成大小相等的若干塊；

元數據塊

元數據——inode(index node)

文件的屬性：

文件大小

文件權限

文件所有者

文件時間戳

數據塊指針

存放元數據的固定的存儲空間，稱為inode；

每個inode都有其對應的inode編號

數據塊

存放文件中所包含的流式數據

特殊文件：

設備文件：block special 或 character special

僅僅是將元數據中的數據塊指針換成了設備號

符號鏈接文件：symbolic link

僅僅是將元數據中的數據塊指針換成了另一個文件的訪問路徑；

這類文件只占據元數據區域，沒有數據塊占用；

隨著磁盤空間越來越大，劃分的塊的數量也越來越多，管理起來很不方便

劃分塊組可以解決該問題

塊組：

每個塊組中有獨立的元數據塊和數據塊

存放數據的時候，以塊組內的數據塊優先選擇，如果塊組內的數據塊不夠，可以通過存儲策略來請多個塊組協同存儲；

超級塊：

主要定義了有多少個塊組，以及每個塊組的邊界。

為了防止超級塊發生故障倒置整個文件系統崩潰，對超級塊進行冗余備份。

日志塊：

對于數據的寫入操作做記錄的塊；

防止數據不一致；

數據不一致通常都是由不潔關機，不潔斷電導致；

一個完整的文件系統：

超級塊，inode，inode bitmap，block bitmap，data block，journal block

想要查找/var/log/messages文件的內容，是怎樣的過程？

首先查找/目錄inode編號，從元數據區域中找到對應inode，再讀取inode中的數據塊指針，找到存放/目錄內容的數據塊；

然后，在數據塊中查找名稱為var的文件名，如果有，就定位其inode編號，再到元數據區域中查找對應編號的inode，再根據數據塊指針找到保存var目錄內容的數據塊；

再然后，在該數據塊中查找名稱為log的文件名，如果有，就定位其inode編號，再到元數據區域中查找對應編號的inode，再根據數據塊指針找到保存log目錄內容的數據塊；

之后，在該數據塊中查找名稱為messages的文件名，如果有，就定位其inode編號，再到元數據區域總查找對應編號的inode，再根據數據塊指針找到messages文件對銀的數據塊，就可以讀取數據；

系統調用

Linux支持的文件系統：

位于內核空間中的文件系統驅動

1.內核一部分

2.內核模塊

位于用戶空間中的文件系統管理應用程序

管理命令

Linux自己的文件系統：

ext ext2 ext3 ext4(最大分區50TB，可以做根分區，可以做啟動分區)

xfs(企業級64位文件系統，最大分區500TB，可以做根和啟動分區)

reiserfs(良好的反刪除功能)

btrfs(技術預覽版)

光盤文件系統：iso9660

網絡文件系統：NFS、CIFS

集群文件系統：gfs2、ocfs2

內核級的分布式文件系統：ceph

偽文件系統：proc、sysfs、tmpfs、hugepagefs

windows的文件系統：vfat，ntfs

Unix的文件系統：ufs，FFS，JFS，zfs

交換分區文件系統：swap

用戶空間中的分布式文件系統：mogilefs，moosefs，glusterfs

對于不同的發行版的Linux，都有其默認的文件系統選擇：

RHEL、CentOS

5：ext3

6：ext4

7：xfs

文件系統的管理工具：

寫一個腳本，如果發現用戶hacker登錄，則將登錄時間和主機記錄于日志/var/log/login.log中；

#!/bin/bash

#

if who | grep -q "\" ; then

for I in $(who | grep "\" | cut -d ' ' -f3-5 --output-delimiter=' '); do

echo -n $I >> /var/log/login.log

done

fi

管理文件系統：

創建文件系統：

mkfs

mkfs.ext2, mkfs.ext3, mkfs.ext4, mkfs.xfs, mkfs.btrfs, ...

文件系統檢測和修復工具

fsck

fsck.ext3, fsxk.ext3, fsck.ext4, fsck.xfs, ...

文件系統屬性查看工具

dumpe2fs

文件系統的屬性調整工具

tune2fs

創建文件系統工具：

mkfs命令：

mkfs - build a Linux filesystem

mkfs [options] [-t type] [fs-options] device [size]

mkfs -t ext2 /dev/sdb1

注意：

1.不要使用磁盤設備名稱和擴展分區設備名稱作為mkfs命令的參數；

如果使用磁盤設備作為mkfs的參數，所有的分區都將被刪除

如果使用擴展分區作為mkfs的參數，所有的邏輯分區都將被刪除

2.能夠作為mkfs命令參數的設備，是主分區設備和邏輯分區設備；

如果只是計劃創建ext系列文件系統的話，可以使用mke2fs命令：

mke2fs:

mke2fs - create an ext2/ext3/ext4 filesystem

常用選項：

-b block-size：在創建文件系統時，調整塊大小；

-i bytes-per-inode：指明inode與字節的比率，即：多少個字節可以建一個inode，默認值為16384；

-j：創建有日志功能的文件系統，就是ext3

-N number-of-inodes：直接指明要給此文件系統創建的inode的數量；

-m reserved-blocks-percentage：指定為超級用戶root預留的磁盤空間的百分比；默認是5；

-t fstype：指定文件系統類型，ext2 ext3 ext4，默認是ext2

-O [^]feature[,...]：關閉或開啟文件系統的特性

-L volume-label：為文件系統指定卷標

如果只計劃修改ext系列文件系統的卷標，可以使用e2label命令：

e2label:

e2label - Change the label on an ext2/ext3/ext4 filesystem

e2label device [ new-label ]

注意：如果不加卷標信息，表示查看指定設備的卷標；

如果添加了卷標信息， 表示修改指定設備的卷標；

如果想要修改ext系列文件系統的屬性，可以使用tune2fs命令：

tune2fs:

tune2fs ?- adjust tunable filesystem parameters on ext2/ext3/ext4 filesystems

調整那些在ext2,3,4文件系統上的可修改的參數；

常用選項：

-j：將ext2文件系統修改為ext3；

-m reserved-blocks-percentage：修改為超級用戶預留的磁盤空間的百分比；

-o [^]mount-options[,...]：修改文件系統的默認掛載選項；

-r reserved-blocks-count：修改為超級用戶預留的磁盤空間的塊的數量；

-L volume-name：修改文件系統的卷標

-O [^]feature[,...]：修改文件系統的特性，將其關閉或啟用；

-l：顯示超級塊的內容 ?相當于dumpe2fs -h

文件系統的檢測修改工具：

fsck

-t fstype：指定要檢測的文件系統類型；

-a：無需交互，自動修復所有問題

-r：交互式修復問題

ext系列文件系統專門的檢測修復工具：

e2fsck

-y：在交互過程的所有的問題，都以"yes"回答；

-f：強制檢測修復；即使文件系統處于clean狀態；

blkid：

blkid - command-line utility to locate/print block device attributes

blkid -L label：根據卷標進行查找

blkid -U uuid：根據UUID進行查找

findfs：

findfs - Find a filesystem by label or UUID

findfs LABEL=label

findfs UUID=uuid

創建swap文件系統

前提：分區類型必須是swap類型

修改的方法是：在fdisk交互模式中，使用t命令將指定分區的類型修改為82即可；

mkswap

mkswap - set up a Linux swap area

-L LABEL：設置交互分區的卷標

-f：強制執行

使用文件系統——掛載

FHS

根文件系統之外的其他文件系統如果想要被訪問；都必須通過某種方式關聯到根文件系統上，具體做法就是把其他文件系統裝載到根文件系統中的某個目錄之中；這個過程稱為"掛載"；用于關聯其他文件系統的那個目錄，稱為掛載點；

掛載點：mount point，也是其他文件系統的訪問入口；例如：/boot

要求：

1.作為掛載點的目錄必須事先存在；

2.作為掛載點的目錄應該是沒有被使用或不能被其他進程使用的目錄；

3.作為掛載點的目錄一旦掛載文件系統，其內原有的文件將被隱藏；

完成掛載操作，使用mount命令：

mount

mount - mount a filesystem

mount [-fnrsvw] [-t vfstype] [-o options] device dir

常用選項：

-r：readonly，以只讀的方式掛載目標文件系統；光盤

-w：read and write，以讀寫的方式掛載目標文件系統；

-n：默認情況下，設備掛載或卸載的操作會同步更新到/etc/mtab中，如果在掛載時使用了-n選項，則表示我們要禁用此特性，即便掛載成功，也不會更新到/etc/mtab中。

-t vsftype：指明要掛載的設備上創建的文件系統類型；如果省略該選項，mount命令會通過blkid來判斷要掛載的目標設備的文件系統類型；

-L LABEL：掛載文件系統時，使用卷標代替設備名稱

-U UUID：掛載文件系統時，使用UUID代替設備名稱

-a：mount -a：按照/etc/fstab文件中填寫的設備進行自動掛載；

-o option：

sync/nosync：同步/異步操作

atime/noatime：文件或目錄被讀取訪問時，是否更新訪問時間戳；

diratime/nodiratime：目錄被讀取訪問時，是否更新訪問時間戳；

ro/rw：是以只讀/讀寫的方式掛載文件系統；

dev/nodev：在此文件系統中是否允許創建設備文件；

exec/noexec：在此文件系統中是否允許運行程序文件；

auto/noauto：是否允許使用mount -a方式掛載/etc/fstab中的文件系統；

user/nouser：是否允許普通用戶掛載此文件系統；

suid/nosuid：是否允許程序文件上的SUID和SGID特殊權限生效；

relatime/norelatime：是否參考inode訪問時間來修改其修改時間和改變時間

remount：不經卸載實現重新掛載，可以應用新的掛載選項；

acl：可以使文件系統支持facl功能；

defaults：默認選項；包括：rw, suid, dev, exec, auto, nouser, async, and relatime

loop：使用環回設備；將鏡像文件掛載到掛載點；

defaults,ro,nosuid

-B, --bind：將某個目錄綁定至另一個目錄；

mount --bind|-B 源目錄 目標目錄

卸載文件系統：

umount mount_point|device

掛載光盤：

1.保證光盤鏡像文件放入虛擬機光驅

2.保證光驅處于"已連接"狀態

3.創建光盤掛載點，mount -r /dev/sr0 mount_point

掛載U盤：

需要事先讓系統識別U盤設備，然后根據設備名進行掛載；/dev/sdc1

掛載交互分區：

swapon, swapoff

swapon, swapoff - enable/disable devices and files for paging and swapping

-a：自動掛載存儲于/etc/fstab文件中的交互分區設備；

df

-h -T -P

free

-k -m -g

/etc/fstab文件的格式：

共6個字段，使用空白字符分隔：

1.要掛載的設備

設備文件名

LABEL

UUID

偽文件系統

2.掛載點

swap設備無需掛載點，指定swap即可；

3.文件系統類型

4.掛載選項：defaults

5.轉儲頻率：

使用dump命令備份分區的頻率

0：表示不備份

1：每天備份一次

2：每隔一天備份一次

6.自檢次序

0：不自檢

1：優先自檢，通常只設置在根文件系統上；

2：次級自檢

...

9：最低優先級自檢

Linux系統中常有的壓縮和解壓縮工具：

壓縮：以時間換空間的一種操作；

壓縮的原理：標記和替換

壓縮比：壓縮之前與壓縮之后的文件的大小的比值；

純文本文件壓縮比較大

視頻、圖像等文件壓縮比小

能夠實現壓縮功能的工具：

compress/uncompress：.Z擴展名

gzip/gunzip：.gz擴展名

bzip2/bunzip2：.bz2擴展名

xz/unxz：.xz擴展名，目前壓縮比最高的工具

zip/unzip：.zip擴展名

gzip：

gzip, gunzip, zcat - compress or expand files

-d：解壓縮

-#：以指定的壓縮比進行壓縮，1-9,9為最高級；默認6

-c：將壓縮結果輸出到標準輸出，不會對原文件進行壓縮；

gzip -c /PATH/TO/FILE > /PATH/TO/COMPRESS_FILE.gz

bzip2:

bzip2, bunzip2 - a block-sorting file compressor, v1.0.4

bzcat - decompresses files to stdout

-d：解壓縮

-#：指定壓縮比進行壓縮，1-9，默認為6

-k：保留原文件不刪除，創建新的壓縮文件；

xz：

xz, unxz, xzcat - Compress or decompress .xz files

-d：解壓縮

-#：指定壓縮比進行壓縮，1-9，默認為6

-k：保留原文件不刪除，創建新的壓縮文件；

tar：歸檔程序

tar——tape archive：磁帶檔案

tar [OPTION...] [FILE]...

主選項：

-c：創建檔案文件

-x：釋放檔案文件的內容

-t：查看檔案文件中包含的文件

-u/-r：向檔案文件中添加新的文件

輔助選項：

-f：指定檔案的文件的路徑

-C：在釋放檔案文件中的內容時，指定釋放的路徑；

-z：在創建檔案文件時，調用gzip進行壓縮

-j：在創建檔案文件時，調用bzip2進行壓縮

-J：在創建檔案文件時，調用xz進行壓縮(可能不支持)

--exclude：在釋放檔案文件時，排除某個文件；

-k：在釋放檔案文件時，不會覆蓋同名文件；

cpio

寫一個腳本：給腳本傳遞幾個文件，選擇壓縮方式進行壓縮；

#!/bin/bash

#

read -p "Please input some files:" file

select I in gzip bzip2 xz ; do

case $I in

gzip)

gzip file

;;

bzip2)

bzip2 file

;;

xz)

xz file

;;

*)

echo "Input again some files:"

;;

esac

done

#!/bin/bash

#

filedest=/usr/bin/file

read -p "Please input some files:" file1 file2 file3 file4

select I in gzip bzip2 xz ; do

case $I in

gzip)

tar -czf ${filedest}.tar.gz file1 file2 file3 file4

;;

bzip2)

tar -cjf ${filedest}.tar.bz2 file1 file2 file3 file4

;;

xz)

tar -cJf ${filedest}.tar.xz file1 file2 file3 file4

;;

*)

echo "Input again some files:"

;;

esac

done

/etc/issue /etc/init.d /etc/java /etc/yum

file.tar

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的linux日志本地存储和网络存储,文件系统和本地存储管理 1的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。