熟練使用命令行是一種常常被忽視,或被認(rèn)為難以掌握的技能,但實(shí)際上,它會(huì)提高你作為工程師的靈活性以及生產(chǎn)力。本文是一份我在 Linux 上工作時(shí),發(fā)現(xiàn)的一些命令行使用技巧的摘要。有些技巧非?;A(chǔ),而另一些則相當(dāng)復(fù)雜,甚至晦澀難懂。這篇文章并不長(zhǎng),但當(dāng)你能夠熟練掌握這里列出的所有技巧時(shí),你就學(xué)會(huì)了很多關(guān)于命令行的東西了。
這篇文章是許多作者和譯者共同的成果。這里的大部分內(nèi)容 首次 出現(xiàn) 于 Quora,但考慮到這里的人們都具有學(xué)習(xí)的天賦且樂于接受別人的建議,使用 Github 來(lái)做這件事是更佳的選擇。如果你在本文中發(fā)現(xiàn)了錯(cuò)誤或者存在可以改善的地方,請(qǐng)果斷提交 Issue 或 Pull Request!(當(dāng)然在提交前請(qǐng)看一下必讀節(jié)和已有的 PR/issue)。
必讀
涵蓋范圍:
- 這篇文章對(duì)剛接觸命令行的新手以及具有命令行使用經(jīng)驗(yàn)的人都有用處。本文致力于做到覆蓋面廣(盡量包括一切重要的內(nèi)容),具體(給出最常見的具體的例子)以及簡(jiǎn)潔(避免不必要的,或是可以在其他地方輕松查到的細(xì)枝末節(jié))。每個(gè)技巧在特定情境下或是基本的,或是能顯著節(jié)約時(shí)間。
- 本文為 Linux 所寫,除了僅限 OS X 系統(tǒng)節(jié)。其它節(jié)中的大部分內(nèi)容都適用于其它 Unix 系統(tǒng)或 MacOS 系統(tǒng),甚至 Cygwin。
- 本文關(guān)注于交互式 Bash,盡管很多技巧也適用于其他 shell 或 Bash 腳本。
- 本文包括了“標(biāo)準(zhǔn)的”Unix 命令和需要安裝特定包的命令,只要它們足夠重要。
注意事項(xiàng):
- 為了能在一頁(yè)內(nèi)展示盡量多的東西,一些具體的信息會(huì)被間接的包含在引用頁(yè)里。聰明機(jī)智的你如果掌握了使用 Google 搜索引擎的基本思路與命令,那么你將可以查閱到更多的詳細(xì)信息。使用
apt-get/yum/dnf/pacman/pip/brew(以及其它合適的包管理器)來(lái)安裝新程序。 - 使用 Explainshell 去獲取相關(guān)命令、參數(shù)、管道等內(nèi)容的解釋。
基礎(chǔ)
- 學(xué)習(xí) Bash 的基礎(chǔ)知識(shí)。具體來(lái)說,輸入
man bash并至少全文瀏覽一遍; 它很簡(jiǎn)單并且不長(zhǎng)。其他的 shell 可能很好用,但 Bash 功能強(qiáng)大且?guī)缀跛星闆r下都是可用的 ( 只學(xué)習(xí) zsh,fish 或其他的 shell 的話,在你自己的電腦上會(huì)顯得很方便,但在很多情況下會(huì)限制你,比如當(dāng)你需要在服務(wù)器上工作時(shí))。 - 學(xué)習(xí)并掌握至少一個(gè)基于文本的編輯器。通常 Vim (
vi) 會(huì)是你最好的選擇,因?yàn)樵诮K端里進(jìn)行隨機(jī)編輯 Vim 真的毫無(wú)敵手,哪怕是 Emacs、某大型 IDE 甚至?xí)r下非常流行的編輯器。 - 學(xué)會(huì)如何使用
man命令去閱讀文檔。學(xué)會(huì)使用apropos去查找文檔。了解有些命令并不對(duì)應(yīng)可執(zhí)行文件,而是Bash內(nèi)置的,可以使用help和help -d命令獲取幫助信息。 - 學(xué)會(huì)使用
>和<來(lái)重定向輸出和輸入,學(xué)會(huì)使用|來(lái)重定向管道。明白>會(huì)覆蓋了輸出文件而>>是在文件末添加。了解標(biāo)準(zhǔn)輸出 stdout 和標(biāo)準(zhǔn)錯(cuò)誤 stderr。 - 學(xué)會(huì)使用通配符
*(或許再算上?和[…]) 和引用以及引用中'和"的區(qū)別。 - 熟悉 Bash 任務(wù)管理工具:
&,ctrl-z,ctrl-c,jobs,fg,bg,kill等。 - 了解
ssh,以及學(xué)會(huì)通過使用ssh-agent,ssh-add等命令來(lái)實(shí)現(xiàn)基本的無(wú)密碼認(rèn)證。 - 學(xué)會(huì)基本的文件管理:
ls和ls -l(了解ls -l中每一列代表的意義),less,head,tail和tail -f(甚至less +F),ln和ln -s(了解硬鏈接與軟鏈接的區(qū)別),chown,chmod,du(硬盤使用情況概述:du -hs *)。 關(guān)于文件系統(tǒng)的管理,學(xué)習(xí)df,mount,fdisk,mkfs,lsblk。知道 inode 是什么(與ls -i和df -i等命令相關(guān))。 - 學(xué)習(xí)基本的網(wǎng)絡(luò)管理:
ip或ifconfig,dig。 - 熟悉正則表達(dá)式,以及
grep/egrep里不同參數(shù)的作用,例如-i,-o,-v,-A,-B和-C,這些參數(shù)是值得學(xué)習(xí)并掌握的。 - 學(xué)會(huì)使用
apt-get,yum,dnf或pacman(取決于你使用的 Linux 發(fā)行版)來(lái)查找或安裝軟件包。并確保你的環(huán)境中有pip來(lái)安裝基于 Python 的命令行工具 (接下來(lái)提到的部分程序使用pip來(lái)安裝會(huì)很方便)。
日常使用
- 在 Bash 中,可以使用 Tab 自動(dòng)補(bǔ)全參數(shù),使用 ctrl-r 搜索命令行歷史(在按下之后,鍵入便可以搜索,重復(fù)按下 ctrl-r會(huì)在更多匹配中循環(huán),按下 Enter 會(huì)執(zhí)行找到的命令,按下右方向鍵會(huì)將結(jié)果放入當(dāng)前行中,使你可以進(jìn)行編輯)。
- 在 Bash 中,可以使用 ctrl-w 刪除你鍵入的最后一個(gè)單詞,使用 ctrl-u 刪除整行,使用 alt-b 和 alt-f 以單詞為單位移動(dòng)光標(biāo),使用 ctrl-a 將光標(biāo)移至行首,使用 ctrl-e 將光標(biāo)移至行尾,使用 ctrl-k 刪除光標(biāo)至行尾的所有內(nèi)容,使用 ctrl-l 清屏。鍵入
man readline查看 Bash 中的默認(rèn)快捷鍵,內(nèi)容很多。例如 alt-. 循環(huán)地移向前一個(gè)參數(shù),以及 alt-* 展開通配符。 - 你喜歡的話,可以鍵入
set -o vi來(lái)使用 vi 風(fēng)格的快捷鍵,而set -o emacs可以把它改回來(lái)。 - 為了方便地鍵入長(zhǎng)命令,在設(shè)置你的編輯器后(例如
export EDITOR=vim),鍵入 ctrl-x ctrl-e 會(huì)打開一個(gè)編輯器來(lái)編輯當(dāng)前命令。在 vi 模式下則鍵入 escape-v 實(shí)現(xiàn)相同的功能。 - 鍵入
history查看命令行歷史記錄。其中有許多縮寫,例如!$(最后鍵入的參數(shù))和!!(最后鍵入的命令),盡管通常被 ctrl-r 和 alt-. 取代。 - 回到上一個(gè)工作路徑:
cd - - 如果你輸入命令的時(shí)候改變了主意,按下 alt-# 來(lái)在行首添加
#,或者依次按下 ctrl-a, #, enter。這樣做的話,之后你可以很方便的利用命令行歷史回到你剛才輸入到一半的命令。 - 使用
xargs( 或parallel)。他們非常給力。注意到你可以控制每行參數(shù)個(gè)數(shù)(-L)和最大并行數(shù)(-P)。如果你不確定它們是否會(huì)按你想的那樣工作,先使用xargs echo查看一下。此外,使用-I{}會(huì)很方便。例如:
find . -name '*.py' | xargs grep some_function
cat hosts | xargs -I{} ssh root@{} hostname
pstree -p有助于展示進(jìn)程樹。- 使用
pgrep和pkill根據(jù)名字查找進(jìn)程或發(fā)送信號(hào)(-f參數(shù)通常有用)。 - 了解你可以發(fā)往進(jìn)程的信號(hào)的種類。比如,使用
kill -STOP [pid]停止一個(gè)進(jìn)程。使用man 7 signal查看詳細(xì)列表。 - 使用
nohup或disown使一個(gè)后臺(tái)進(jìn)程持續(xù)運(yùn)行。 - 使用
netstat -lntp或ss -plat檢查哪些進(jìn)程在監(jiān)聽端口(默認(rèn)是檢查 TCP 端口; 使用參數(shù)-u檢查 UDP 端口)。 - 有關(guān)打開套接字和文件,請(qǐng)參閱
lsof。 - 使用
uptime或w來(lái)查看系統(tǒng)已經(jīng)運(yùn)行多長(zhǎng)時(shí)間。 - 使用
alias來(lái)創(chuàng)建常用命令的快捷形式。例如:alias ll='ls -latr'使你可以方便地執(zhí)行ls -latr命令。 - 在 Bash 腳本中,使用
set -x去調(diào)試輸出,盡可能的使用嚴(yán)格模式,使用set -e令腳本在發(fā)生錯(cuò)誤時(shí)退出而不是繼續(xù)運(yùn)行,使用set -u來(lái)檢查是否使用了未賦值的變量,使用set -o pipefail嚴(yán)謹(jǐn)?shù)貙?duì)待錯(cuò)誤(盡管問題可能很微妙)。當(dāng)牽扯到很多腳本時(shí),使用trap。一個(gè)好的習(xí)慣是在腳本文件開頭這樣寫,這會(huì)使它檢測(cè)一些錯(cuò)誤,并在錯(cuò)誤發(fā)生時(shí)中斷程序并輸出信息:
set -euo pipefail
trap "echo 'error: Script failed: see failed command above'" ERR
- 在 Bash 腳本中,子 shell(使用括號(hào)
(...))是一種組織參數(shù)的便捷方式。一個(gè)常見的例子是臨時(shí)地移動(dòng)工作路徑,代碼如下:
# do something in current dir
(cd /some/other/dir && other-command)
# continue in original dir
- 在 Bash 中,要注意其中有許多形式的擴(kuò)展。檢查變量是否存在:
${name:?error message}。例如,當(dāng) Bash 腳本需要一個(gè)參數(shù)時(shí),可以使用這樣的代碼input_file=${1:?usage: $0 input_file}。數(shù)學(xué)表達(dá)式:i=$(( (i + 1) % 5 ))。序列:{1..10}。截?cái)嘧址?code>${var%suffix} 和${var#prefix}。例如,假設(shè)var=foo.pdf,那么echo ${var%.pdf}.txt將輸出foo.txt。 - 使用括號(hào)擴(kuò)展(
{…})來(lái)減少輸入相似文本,并自動(dòng)化文本組合。這在某些情況下會(huì)很有用,例如mv foo.{txt,pdf} some-dir(同時(shí)移動(dòng)兩個(gè)文件),cp somefile{,.bak}(會(huì)被擴(kuò)展成cp somefile somefile.bak)或者mkdir -p test-{a,b,c}/subtest-{1,2,3}(會(huì)被擴(kuò)展成所有可能的組合,并創(chuàng)建一個(gè)目錄樹)。 - 通過使用
<(some command)可以將輸出視為文件。例如,對(duì)比本地文件/etc/hosts和一個(gè)遠(yuǎn)程文件:
diff /etc/hosts <(ssh somehost cat /etc/hosts)
- 了解 Bash 中的“here documents”,例如
cat <<EOF ...。 - 在 Bash 中,同時(shí)重定向標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤,
some-command >logfile 2>&1。通常,為了保證命令不會(huì)在標(biāo)準(zhǔn)輸入里殘留一個(gè)打開了的文件句柄導(dǎo)致你當(dāng)前所在的終端無(wú)法操作,添加</dev/null是一個(gè)好習(xí)慣。 - 使用
man ascii查看具有十六進(jìn)制和十進(jìn)制值的ASCII表。man unicode,man utf-8,以及man latin1有助于你去了解通用的編碼信息。 - 使用
screen或tmux來(lái)使用多個(gè)屏幕,當(dāng)你在使用 ssh 時(shí)(保存 session 信息)將尤為有用。另一個(gè)輕量級(jí)的解決方案是dtach。 - ssh 中,了解如何使用
-L或-D(偶爾需要用-R)去開啟隧道是非常有用的,例如當(dāng)你需要從一臺(tái)遠(yuǎn)程服務(wù)器上訪問 web。 - 對(duì) ssh 設(shè)置做一些小優(yōu)化可能是很有用的,例如這個(gè)
~/.ssh/config文件包含了防止特定環(huán)境下斷開連接、壓縮數(shù)據(jù)、多通道等選項(xiàng):
TCPKeepAlive=yes
ServerAliveInterval=15
ServerAliveCountMax=6
Compression=yes
ControlMaster auto
ControlPath /tmp/%r@%h:%p
ControlPersist yes
- 部分其他的關(guān)于 ssh 的選項(xiàng)是安全敏感且應(yīng)當(dāng)小心啟用的。例如在可信任的網(wǎng)絡(luò)中:
StrictHostKeyChecking=no,ForwardAgent=yes - 考慮使用
mosh作為 ssh 的替代品,它使用 UDP 協(xié)議。 - 獲取文件的八進(jìn)制格式權(quán)限,使用類似如下的代碼:
stat -c '%A %a %n' /etc/timezone
- 使用
percol或者fzf可以交互式地從另一個(gè)命令輸出中選取值。 - 使用
fpp(PathPicker)可以與基于另一個(gè)命令(例如git)輸出的文件交互。 - 將 web 服務(wù)器上當(dāng)前目錄下所有的文件(以及子目錄)暴露給你所處網(wǎng)絡(luò)的所有用戶,使用:
python -m SimpleHTTPServer 7777(使用端口 7777 和 Python 2)或python -m http.server 7777(使用端口 7777 和 Python 3)。 - 以某種權(quán)限執(zhí)行命令,使用
sudo(root 權(quán)限)或sudo -u(其他用戶)。使用su或者sudo bash來(lái)啟動(dòng)一個(gè)以對(duì)應(yīng)用戶權(quán)限運(yùn)行的 shell。使用su -模擬其他用戶的登錄。
文件及數(shù)據(jù)處理
- 在當(dāng)前路徑下通過文件名定位一個(gè)文件,
find . -iname '*something*'(或類似的)。在所有路徑下通過文件名查找文件,使用locate something(但請(qǐng)記住updatedb可能沒有對(duì)最近新建的文件建立索引)。 - 使用
ag在源代碼或數(shù)據(jù)文件里檢索(比grep -r更好)。 - 將 HTML 轉(zhuǎn)為文本:
lynx -dump -stdin - Markdown,HTML,以及所有文檔格式之間的轉(zhuǎn)換,試試
pandoc。 - 如果你不得不處理 XML,
xmlstarlet寶刀未老。 - 使用
jq處理 JSON。 - 使用
shyaml處理 YAML。 - Excel 或 CSV 文件的處理,csvkit 提供了
in2csv,csvcut,csvjoin,csvgrep等工具。 - 關(guān)于 Amazon S3,
s3cmd很方便而s4cmd更快。Amazon 官方的aws以及saws是其他 AWS 相關(guān)工作的基礎(chǔ)。 - 了解如何使用
sort和uniq,包括 uniq 的-u參數(shù)和-d參數(shù),詳見后文單行腳本節(jié)。另外可以了解一下comm。 - 了解如何使用
cut,paste和join來(lái)更改文件。很多人都會(huì)使用cut,但幾乎都不會(huì)使用join。 - 了解如何運(yùn)用
wc去計(jì)算新行數(shù)(-l),字符數(shù)(-m),單詞數(shù)(-w)以及字節(jié)數(shù)(-c)。 - 了解如何使用
tee將標(biāo)準(zhǔn)輸入復(fù)制到文件甚至標(biāo)準(zhǔn)輸出,例如ls -al | tee file.txt。 - 了解語(yǔ)言環(huán)境對(duì)許多命令行工具的微妙影響,包括排序的順序和性能。大多數(shù) Linux 的安裝過程會(huì)將
LANG或其他有關(guān)的變量設(shè)置為符合本地的設(shè)置。意識(shí)到當(dāng)你改變語(yǔ)言環(huán)境時(shí),排序的結(jié)果可能會(huì)改變。明白國(guó)際化可能會(huì)使 sort 或其他命令運(yùn)行效率下降許多倍。某些情況下(例如集合運(yùn)算)你可以放心的使用export LC_ALL=C來(lái)忽略掉國(guó)際化并使用基于字節(jié)的順序。 - 了解
awk和sed關(guān)于數(shù)據(jù)的簡(jiǎn)單處理的用法。例如,將文本文件中第三列的所有數(shù)字求和:awk '{ x += $3 } END { print x }'. 這可能比同等作用的 Python 代碼快三倍且代碼量少三倍。 - 替換一個(gè)或多個(gè)文件中出現(xiàn)的字符串:
perl -pi.bak -e 's/old-string/new-string/g' my-files-*.txt
- 使用
repren來(lái)批量重命名,或是在多個(gè)文件中搜索替換。(有些時(shí)候rename命令也可以批量重命名,但要注意,它在不同 Linux 發(fā)行版中的功能并不完全一樣。)
# Full rename of filenames, directories, and contents foo -> bar:
repren --full --preserve-case --from foo --to bar .
# Recover backup files whatever.bak -> whatever:
repren --renames --from '(.*)\.bak' --to '\1' *.bak
# Same as above, using rename, if available:
rename 's/\.bak$//' *.bak
- 根據(jù) man 頁(yè)面的描述,
rsync真的是一個(gè)快速且非常靈活的文件復(fù)制工具。它通常被用于機(jī)器間的同步,但在本地也同樣有用。它同時(shí)也是刪除大量文件的最快方法之一:
mkdir empty && rsync -r --delete empty/ some-dir && rmdir some-dir
- 使用
shuf從一個(gè)文件中隨機(jī)選取多行。 - 了解
sort的參數(shù)。處理數(shù)字方面,使用-n或者-h來(lái)處理可讀性數(shù)字(例如du -h的輸出)。明白鍵的工作原理(-t和-k)。例如,注意到你需要-k1,1來(lái)僅按第一個(gè)域來(lái)排序,而-k1意味著按整行排序。穩(wěn)定排序(sort -s)在某些情況下很有用。例如,以第二個(gè)域?yàn)橹麝P(guān)鍵字,第一個(gè)域?yàn)榇侮P(guān)鍵字進(jìn)行排序,你可以使用sort -k1,1 | sort -s -k2,2。 - 如果你想在 Bash 命令行中寫 tab 制表符,按下 ctrl-v [Tab] 或鍵入
$'\t'(后者可能更好,因?yàn)槟憧梢詮?fù)制粘貼它)。 - 標(biāo)準(zhǔn)的源代碼對(duì)比及合并工具是
diff和patch。使用diffstat查看變更總覽數(shù)據(jù)。注意到diff -r對(duì)整個(gè)文件夾有效。使用diff -r tree1 tree2 | diffstat查看變更總覽數(shù)據(jù)。 - 對(duì)于二進(jìn)制文件,使用
hd使其以十六進(jìn)制顯示以及使用bvi來(lái)編輯二進(jìn)制。 - 同樣對(duì)于二進(jìn)制文件,
strings(包括grep等等)允許你查找一些文本。 - 二進(jìn)制文件對(duì)比(Delta 壓縮),使用
xdelta3。 - 使用
iconv更改文本編碼。而更高級(jí)的用法,可以使用uconv,它支持一些高級(jí)的 Unicode 功能。例如,這條命令將所有元音字母轉(zhuǎn)為小寫并移除了:
uconv -f utf-8 -t utf-8 -x '::Any-Lower; ::Any-NFD; [:Nonspacing Mark:] >; ::Any-NFC; ' < input.txt > output.txt
- 拆分文件,查看
split(按大小拆分)和csplit(按模式拆分)。 - 用
dateutils中的dateadd,datediff,strptime等工具操作日期和時(shí)間表達(dá)式。 - 使用
zless,zmore,zcat和zgrep對(duì)壓縮過的文件進(jìn)行操作。
系統(tǒng)調(diào)試
curl和curl -I可以便捷地被應(yīng)用于 web 調(diào)試中,它們的好兄弟wget也可以,或者是更潮的httpie。- 使用
iostat、netstat、top(htop更佳)和dstat去獲取硬盤、cpu 和網(wǎng)絡(luò)的狀態(tài)。熟練掌握這些工具可以使你快速的對(duì)系統(tǒng)的當(dāng)前狀態(tài)有一個(gè)大概的認(rèn)識(shí)。 - 使用
netstat和ss查看網(wǎng)絡(luò)連接的細(xì)節(jié)。 - 若要對(duì)系統(tǒng)有一個(gè)深度的總體認(rèn)識(shí),使用
glances。它在一個(gè)終端窗口中向你提供一些系統(tǒng)級(jí)的數(shù)據(jù)。這對(duì)于快速的檢查各個(gè)子系統(tǒng)非常有幫助。 - 若要了解內(nèi)存狀態(tài),運(yùn)行并理解
free和vmstat的輸出。尤其注意“cached”的值,它指的是 Linux 內(nèi)核用來(lái)作為文件緩存的內(nèi)存大小,因此它與空閑內(nèi)存無(wú)關(guān)。 - Java 系統(tǒng)調(diào)試則是一件截然不同的事,一個(gè)可以用于 Oracle 的 JVM 或其他 JVM 上的調(diào)試的技巧是你可以運(yùn)行
kill -3 <pid>同時(shí)一個(gè)完整的棧軌跡和堆概述(包括 GC 的細(xì)節(jié))會(huì)被保存到標(biāo)準(zhǔn)輸出/日志文件。JDK 中的jps,jstat,jstack,jmap很有用。SJK tools 更高級(jí). - 使用
mtr去跟蹤路由,用于確定網(wǎng)絡(luò)問題。 - 用
ncdu來(lái)查看磁盤使用情況,它比常用的命令,如du -sh *,更節(jié)省時(shí)間。 - 查找正在使用帶寬的套接字連接或進(jìn)程,使用
iftop或nethogs。 ab工具(捆綁于 Apache)可以簡(jiǎn)單粗暴地檢查 web 服務(wù)器的性能。對(duì)于更復(fù)雜的負(fù)載測(cè)試,使用siege。wireshark,tshark和ngrep可用于復(fù)雜的網(wǎng)絡(luò)調(diào)試。- 了解
strace和ltrace。這倆工具在你的程序運(yùn)行失敗、掛起甚至崩潰,而你卻不知道為什么或你想對(duì)性能有個(gè)總體的認(rèn)識(shí)的時(shí)候是非常有用的。注意 profile 參數(shù)(-c)和附加到一個(gè)運(yùn)行的進(jìn)程參數(shù) (-p)。 - 了解使用
ldd來(lái)檢查共享庫(kù)。 - 了解如何運(yùn)用
gdb連接到一個(gè)運(yùn)行著的進(jìn)程并獲取它的堆棧軌跡。 - 學(xué)會(huì)使用
/proc。它在調(diào)試正在出現(xiàn)的問題的時(shí)候有時(shí)會(huì)效果驚人。比如:/proc/cpuinfo,/proc/meminfo,/proc/cmdline,/proc/xxx/cwd,/proc/xxx/exe,/proc/xxx/fd/,/proc/xxx/smaps(這里的xxx表示進(jìn)程的 id 或 pid)。 - 當(dāng)調(diào)試一些之前出現(xiàn)的問題的時(shí)候,
sar非常有用。它展示了 cpu、內(nèi)存以及網(wǎng)絡(luò)等的歷史數(shù)據(jù)。 - 關(guān)于更深層次的系統(tǒng)分析以及性能分析,看看
stap(SystemTap),perf,以及sysdig。 - 查看你當(dāng)前使用的系統(tǒng),使用
uname,uname -a(Unix/kernel 信息) 或者lsb_release -a(Linux 發(fā)行版信息)。 - 無(wú)論什么東西工作得很歡樂時(shí)試試
dmesg(可能是硬件或驅(qū)動(dòng)問題)。
單行腳本
一些命令組合的例子:
- 當(dāng)你需要對(duì)文本文件做集合交、并、差運(yùn)算時(shí),結(jié)合使用
sort/uniq很有幫助。假設(shè)a與b是兩內(nèi)容不同的文件。這種方式效率很高,并且在小文件和上G的文件上都能運(yùn)用 (sort不被內(nèi)存大小約束,盡管在/tmp在一個(gè)小的根分區(qū)上時(shí)你可能需要-T參數(shù)),參閱前文中關(guān)于LC_ALL和sort的-u參數(shù)的部分。
cat a b | sort | uniq > c # c is a union b
cat a b | sort | uniq -d > c # c is a intersect b
cat a b b | sort | uniq -u > c # c is set difference a - b
- 使用
grep . *(每行都會(huì)附上文件名)或者head -100 *(每個(gè)文件有一個(gè)標(biāo)題)來(lái)閱讀檢查目錄下所有文件的內(nèi)容。這在檢查一個(gè)充滿配置文件的目錄(如/sys、/proc、/etc)時(shí)特別好用。 - 計(jì)算文本文件第三列中所有數(shù)的和(可能比同等作用的 Python 代碼快三倍且代碼量少三倍):
awk '{ x += $3 } END { print x }' myfile
- 如果你想在文件樹上查看大小/日期,這可能看起來(lái)像遞歸版的
ls -l但比ls -lR更易于理解:
find . -type f -ls
- 假設(shè)你有一個(gè)類似于 web 服務(wù)器日志文件的文本文件,并且一個(gè)確定的值只會(huì)出現(xiàn)在某些行上,假設(shè)一個(gè)
acct_id參數(shù)在URI中。如果你想計(jì)算出每個(gè)acct_id值有多少次請(qǐng)求,使用如下代碼:
cat access.log | egrep -o 'acct_id=[0-9]+' | cut -d= -f2 | sort | uniq -c | sort -rn
- 運(yùn)行這個(gè)函數(shù)從這篇文檔中隨機(jī)獲取一條技巧(解析 Markdown 文件并抽取項(xiàng)目):
function taocl() {
curl -s https://raw.githubusercontent.com/jlevy/the-art-of-command-line/master/README.md |
pandoc -f markdown -t html |
xmlstarlet fo --html --dropdtd |
xmlstarlet sel -t -v "(html/body/ul/li[count(p)>0])[$RANDOM mod last()+1]" |
xmlstarlet unesc | fmt -80
}
冷門但有用
expr:計(jì)算表達(dá)式或正則匹配m4:簡(jiǎn)單地宏處理器yes:多次打印字符串cal:漂亮的日歷env:執(zhí)行一個(gè)命令(腳本文件中很有用)printenv:打印環(huán)境變量(調(diào)試時(shí)或在使用腳本文件時(shí)很有用)look:查找以特定字符串開頭的單詞cut、paste和join:數(shù)據(jù)修改fmt:格式化文本段落pr:將文本格式化成頁(yè)/列形式fold:包裹文本中的幾行column:將文本格式化成多列或表格expand和unexpand:制表符與空格之間轉(zhuǎn)換nl:添加行號(hào)seq:打印數(shù)字bc:計(jì)算器factor:分解因數(shù)gpg:加密并簽名文件toe:terminfo entries 列表nc:網(wǎng)絡(luò)調(diào)試及數(shù)據(jù)傳輸socat:套接字代理,與netcat類似slurm:網(wǎng)絡(luò)可視化dd:文件或設(shè)備間傳輸數(shù)據(jù)file:確定文件類型tree:以樹的形式顯示路徑和文件,類似于遞歸的lsstat:文件信息time:執(zhí)行命令,并計(jì)算執(zhí)行時(shí)間lockfile:使文件只能通過rm -f移除logrotate: 切換、壓縮以及發(fā)送日志文件watch:重復(fù)運(yùn)行同一個(gè)命令,展示結(jié)果并高亮有更改的部分tac:反向輸出文件shuf:文件中隨機(jī)選取幾行comm:一行一行的比較排序過的文件pv:監(jiān)視通過管道的數(shù)據(jù)hd,hexdump,xxd,biew和bvi:保存或編輯二進(jìn)制文件strings:從二進(jìn)制文件中抽取文本tr:轉(zhuǎn)換字母iconv或uconv:簡(jiǎn)易的文件編碼split和csplit:分割文件sponge:在寫入前讀取所有輸入,在讀取文件后再向同一文件寫入時(shí)比較有用,例如grep -v something some-file | sponge some-fileunits:將一種計(jì)量單位轉(zhuǎn)換為另一種等效的計(jì)量單位(參閱/usr/share/units/definitions.units)apg:隨機(jī)生成密碼7z:高比例的文件壓縮ldd:動(dòng)態(tài)庫(kù)信息nm:提取 obj 文件中的符號(hào)ab:性能分析 web 服務(wù)器strace:系統(tǒng)調(diào)用調(diào)試mtr:更好的網(wǎng)絡(luò)調(diào)試跟蹤工具cssh:可視化的并發(fā) shellrsync:通過 ssh 或本地文件系統(tǒng)同步文件和文件夾wireshark和tshark:抓包和網(wǎng)絡(luò)調(diào)試工具ngrep:網(wǎng)絡(luò)層的 grephost和dig:DNS 查找lsof:列出當(dāng)前系統(tǒng)打開文件的工具以及查看端口信息dstat:系統(tǒng)狀態(tài)查看glances:高層次的多子系統(tǒng)總覽iostat:硬盤使用狀態(tài)mpstat: CPU 使用狀態(tài)vmstat: 內(nèi)存使用狀態(tài)htop:top 的加強(qiáng)版last:登入記錄w:查看處于登錄狀態(tài)的用戶id:用戶/組 ID 信息sar:系統(tǒng)歷史數(shù)據(jù)iftop或nethogs:套接字及進(jìn)程的網(wǎng)絡(luò)利用ss:套接字?jǐn)?shù)據(jù)dmesg:引導(dǎo)及系統(tǒng)錯(cuò)誤信息sysctl: 在內(nèi)核運(yùn)行時(shí)動(dòng)態(tài)地查看和修改內(nèi)核的運(yùn)行參數(shù)hdparm:SATA/ATA 磁盤更改及性能分析lsb_release:Linux 發(fā)行版信息lsblk:列出塊設(shè)備信息:以樹形展示你的磁盤以及磁盤分區(qū)信息lshw,lscpu,lspci,lsusb和dmidecode:查看硬件信息,包括 CPU、BIOS、RAID、顯卡、USB設(shè)備等lsmod和modinfo:列出內(nèi)核模塊,并顯示其細(xì)節(jié)fortune,ddate和sl:額,這主要取決于你是否認(rèn)為蒸汽火車和莫名其妙的名人名言是否“有用”
僅限 OS X 系統(tǒng)
以下是僅限于 MacOS 系統(tǒng)的技巧
- 用
brew(Homebrew)或者port(MacPorts)進(jìn)行包管理。這些可以用來(lái)在 Mac 系統(tǒng)上安裝以上的大多數(shù)命令。 - 用
pbcopy復(fù)制任何命令的輸出到桌面應(yīng)用,用pbpaste粘貼輸入。 - 若要在 Mac OS 終端中將 Option 鍵視為 alt 鍵(例如在上面介紹的 alt-b, alt-f 等命令中用到),打開 偏好設(shè)置 -> 描述文件 -> 鍵盤 并勾選“使用 Option 鍵作為 Meta 鍵”。
- 用
open或者open -a /Applications/Whatever.app使用桌面應(yīng)用打開文件。 - Spotlight: 用
mdfind搜索文件,用mdls列出元數(shù)據(jù)(例如照片的 EXIF 信息)。 - 注意 MacOS 系統(tǒng)是基于 BSD UNIX 的,許多命令(例如
ps,ls,tail,awk,sed)都和 Linux 中有些微的不同,這些極大的被 System V-style Unix 和 GNU 工具影響。你可以通過標(biāo)題為 “BSD General Commands Manual” 的 man 頁(yè)面發(fā)現(xiàn)這些不同。在有些情況下 GNU 版本的命令也可能被安裝(例如gawk和gsed對(duì)應(yīng) GNU 中的 awk 和 sed )。如果要寫跨平臺(tái)的 Bash 腳本,避免使用這些命令(例如,考慮 Python 或者perl)或者經(jīng)過仔細(xì)的測(cè)試。 - 用
sw_vers獲取 MacOS 的版本信息。
更多資源
- awesome-shell:一份精心組織的命令行工具及資源的列表。
- awesome-osx-command-line:一份針對(duì) Mac OS 命令行的更深入的指南。
- Strict mode:為了編寫更好的腳本文件。
- shellcheck:一個(gè)靜態(tài) shell 腳本分析工具,本質(zhì)上是 bash/sh/zsh 的 lint。
- Filenames and Pathnames in Shell:有關(guān)如何在 shell 腳本里正確處理文件名的細(xì)枝末節(jié)。
免責(zé)聲明
除去特別微小的任務(wù),編寫代碼是出于方便閱讀的目的。能力往往伴隨著責(zé)任。你 可以 在 Bash 中做一些事并不意味著你應(yīng)該去做!;)
via:Github
哈爾濱品用軟件有限公司致力于為哈爾濱的中小企業(yè)制作大氣、美觀的優(yōu)秀網(wǎng)站,并且能夠搭建符合百度排名規(guī)范的網(wǎng)站基底,使您的網(wǎng)站無(wú)需額外費(fèi)用,即可穩(wěn)步提升排名至首頁(yè)。歡迎體驗(yàn)最佳的哈爾濱網(wǎng)站建設(shè)。
