【2016年第6期】基于大数据的移动互联网主动运维理论和实践进展
楊慰民
中國移動通信集團福建有限公司，福建 福州 350003
??摘要：?對于非話音的移動互聯網業務，即使網絡指標是完好的，仍然存在用戶感知不佳的現象。基于大數據技術研究用戶感知和網絡性能指標的關系，提出基于樣本空間置換的五元五階模型實施主動運維，先于用戶投訴發現并解決感知不佳問題。相比傳統的運維模式，主動運維模式以網絡性能管理為基礎，能快速發現網絡中各節點之間的性能失衡、趨勢異常等隱性問題。運維人員根據分析結果主動出擊，在故障發生前精確優化，降低成本，提升網絡質量及客戶滿意度。
關鍵詞：移動互聯網；大數據；用戶感知；性能分析；主動運維；五元五階；樣本空間置換
中圖分類號：TP3-0 ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A
doi: 10.11959/j.issn.2096-0271.2016070
Theory and progress of active operation and maintenance of mobile internet based on big data
YANG Weimin
China Mobile Group Fujian Co., Ltd., Fuzhou 350108, China
Abstract: The relationship between user's perception and network performance index was studied. A five-element-five-phase (FEFP) method based on substitution between sample and space was proposed. Active operation and maintenance mode based on network performance management, can quickly find out the performance of the network in the imbalance between the nodes, abnormal trend of hidden problems etc with active network analysis. According to the analysis of the initiative, the engineers can target for exact optimization, reduce the costs, improve the quality of the network and customer satisfaction before the failure occurred.
Key words: mobile internet, big data, user perception, performance analysis, active maintenance, five element five phase, sample and space substitution
論文引用格式：楊慰民. 基于大數據的移動互聯網主動運維理論和實踐進展[J]. 大數據, 2016, 2(6): 97-109.
Yang Weimin. Theory and progress of active operation and maintenance of mobile internet based on big data[J]. Big Data Research,?2016, 2(6): 97-109.
1? 引言
大數據、移動互聯網、社交網絡、云計算、物聯網等新一代信息技術構成的IT架構“第三平臺”是信息社會進入新階段的標志，對整個經濟的轉型有引領和帶動作用。電信運營商尤其是具有濃厚國資背景的中國電信運營商是承載“第三平臺”的主體。
運營商天然擁有大數據，如大量用戶的相關數據，相對互聯網企業而言準確度更高，也更加完整。除此之外，運營商的基礎設施（如交換機、基站、數據通信設備、傳輸設備等）的運行維護數據、告警信息、配置信息、性能信息是比傳統大數據范圍更廣、涉及領域更多、運營商獨有的、比大數據更大量的數據。然而傳統運營商對大數據的運行主要表現在：對內，利用大數據進行自我改造，應用領域集中在內部決策、精確營銷和客戶服務領域；對外，形成對外開放、可商業化的核心能力，將其封裝為服務和產品，實現商業模式的創新，助力 “互聯網+”新經濟、新常態的發展，如協助政府社會管理，根據場景、區域等維度，把相關數據做出畫像，協助做好政府社會管理。
對于某個可能引起用戶感知不佳甚至引發投訴的事件，電信運營商客戶服務領域有一組有趣的統計數據：26個用戶因為服務質量不佳有可能投訴但選擇保持沉默，其中只有1個用戶因服務不好選擇投訴。該事件同時會被傳播，其中，該事件被告知其他528人，最終有1 341人傳播了該事件。因此，解決客戶感知不佳的問題迫在眉睫，無論用戶是否投訴，先于客戶發現問題、解決問題，是電信運營商亟待解決的難題。中國移動通信集團公司（以下簡稱中國移動）是全球最大的電信運營商，始終秉承“網絡質量是企業的生命線”的理念。用戶感知與網絡性能指標在傳統的電信運營商電路交換業務網絡中呈正相關特性。然而，對于非話音的移動互聯網業務，即使網絡指標是完好的，仍然存在用戶感知不佳的現象。運營商被動通過投訴渠道獲取用戶的感知信息。本文研究用戶感知和網絡性能指標的關系，基于大數據技術，提出基于樣本空間置換的五元五階（five element five phase，FEFP）方法，實施主動運維，先于用戶投訴發現并解決感知不佳問題。相比傳統的運維模式，主動運維模式以網絡性能管理為基礎，主動進行網絡分析，快速發現網絡中各節點之間的性能失衡、趨勢異常等隱性問題，運維人員根據分析結果主動出擊，在故障發生前，有的放矢地進行精確優化，降低成本，提升網絡質量及客戶滿意度。
2? 基于大數據的主動運維
2.1? 電信業大數據的特點與構成
中國電信運營商已經將數據資源上升到數據資產。傳統電信業的大數據大約97%來自于運維支撐系統（operation support system，OSS）域（以下簡稱O域），3%來自于業務支撐系統（business support system，BSS）域（以下簡稱B域）。其中，O域數據具有量大、精細、實時和貼近網絡行為等特點，B域數據具有量小、匯總、離線、貼近用戶行為等特點。
傳統O域數據主要來自于網管系統數據，特點是基于網絡設備的網元級（設備級）的操作、管理、測量報告、運行狀態結果等數據。通常采樣周期為15 min以上，時延0.5 h以上。然而，不同于傳統的“話音業務網絡好，客戶感知就好”，移動互聯網網絡運行實踐表明，即使O域呈現出的各種數據是正常的，仍然存在大量用戶感知不佳的現象，即用戶感知的精確刻畫和描述無法通過傳統的O域數據進行表征。用戶的感知只能以用戶遇到問題后的投訴間接反映，這就是運營商的傳統運維方式。因此傳統以網元為中心的被動式的網絡運維體系已經不適應“體驗為王”的移動互聯網時代的特征要求。當前客戶感知不僅僅取決于網絡，更涉及終端、業務使用全流程的各個環節。以某省公司調查為例，影響客戶感知的各種因素中，網絡質量問題只占19%，剩下的81%的問題分布在終端、業務和用戶側。而傳統以故障告警為重點的網絡運維體系，已無法做到端到端全覆蓋、全過程、實時的質量監控分析。網絡主動運維“難”。傳統運維模式是根據客戶投訴或網絡顯性故障，被動地解決問題，無法做到對客戶感知的主動預判，所以永遠都是慢客戶“一拍”，難以從根本上保障和提升客戶感知。因此，網絡必須加快向“客戶體驗+主動運維”的模式轉型。主動運維必須通過大數據實現，大數據分析中盡量匯集多種來源的數據是關鍵，大數據的數據源如果僅停留在傳統的運維數據層面，數據會有一定的局限性和片面性，只有集成多個方面的原始數據，才能反映事物的全貌。為了實現用戶感知的主動保障，電信運營商已經開始如圖1右側所示的移動通信網絡信令數據采集和互聯網業務的深度分組解析（deep packet inspection， DPI）項目建設。但是，如圖1所示，新的信令采集和DPI數據的體量遠大于傳統數據，非格式化的數據特點也更加顯現。這些特點又推動數據分析向大數據思維和技術變革。
圖1 電信業大數據的構成示意
2.2? 基于五元五階模型實現端到端客戶感知到移動互聯網接續過程的映射
據某知名咨詢機構對中國移動用戶4G手機上網的調查報告顯示，數據業務的用戶感知是中國移動當前的薄弱環節。感知不佳主要體現在：沒信號、有信號但上不了網、網速慢以及掉線頻繁，如圖2所示。
圖2 用戶感知調查報告
LTE網絡質量問題定位需要以用戶業務感知為原則，即必須通過技術手段將用戶感知技術的指標進行表征，這樣就可以透過網絡視角匯聚用戶視角。圖3為在4G的LTE網絡中用戶感知與網絡對應的技術過程的關系。
圖3 用戶感知與網絡接續過程的對應關系
在圖3感知和技術流程對應的基礎上，圖4則給出了基于客戶感知的端到端質量保障分析流程。LTE數據業務的用戶感知需要建立一套規范的評估提升方法，實現端到端的性能分析，通過端到端質量保障提升客戶感知。
圖4 基于客戶感知的端到端保障體系流程
因此，如圖3所示的網絡視角，與LTE網絡客戶感知直接相關的順序的時間流程包括5個步驟（階段），即附著（attach）、管道建立（EPS）、域名系統（DNS查詢）、傳輸控制協議（transmission control protool, TCP）鏈接建立以及業務使用。用戶使用業務涉及的從用戶側到網絡側端到端的所有網元和環節都影響用戶感知，將這些環節在空間上劃分為5個層面的元素（element），即用戶、終端、小區、網絡和業務。通過空間的5個維度（元素）和時間上的5個步驟可以在空間和時間維度上定位出用戶某次上網感知不佳的問題所在，即用戶某次上網感知不佳，在空間上是哪個具體“元”（網元）導致，在時間上是發生在五階的具體哪個“階”。這就是五元五階模型。
五元是相互匹配的元素，環節失配將導致業務不流暢或業務能力未充分挖掘。五階是順序的流水過程，任一階段出現問題將導致斷流（業務中斷)，KQI（key quality index，關鍵質量指標）產生自每個環節。五元五階模型并非5×5 的簡單疊加，而是基于大數據的多維度數據的上卷與下鉆，實現面向用戶感知的全方位的知識挖掘。五元五階模型一方面體現端到端能力保障和能力運營的最小變量級，另一方面足夠完備地保證各項輸出。
基于FEFP模型的大數據技術使得從海量信息中快速提取有價值信息成為可能，獲取“5A”，即任何小區（any cell）、任何用戶（any user）、持任何終端（any terminal）、使用任何應用（any service）獲得 的 量化 的 任 何 效 果 和品 質（a n y quantized quality）（如時延、速率）是獲取客戶感知的關鍵。要實現基于五元五階模型的“5A”目標，必須要有相應的LTE信令采集數據支撐。
2.3? LTE信令采集DPI
傳統的網管數據更多記錄的是網元設備運行的結果和狀態測量數據，它側重于設備的運行結果。但是大量事實表明，當用戶出現明顯的感知異常時，網元設備運行結果表現為正常。為了實施保障用戶感知的主動運維，需要建設信令采集系統，圖5是LTE網絡信令采集系統的結構示意，覆蓋用戶面與控制面。表1給出了每個采集接口對應可獲取的數據。
圖5 LTE信令采集結構示意
表1 LTE信令采集接口及對應的信息描述
通過信令數據的采集和大數據分析，有可能實現用戶“5A”信息的獲取，繼而做到用戶感知的端到端體驗保障，實現先于用戶投訴就主動發現問題、解決問題的目標。這就是主動運維及主動運維的意義和價值。
3? 基于樣本空間置換的五元五階模型的閉環模型和定界原理
基于LTE信令數據的采集和五元五階模型，利用大數據技術可實現以下目標：
對采集的數據進行整理，對海量信息進行過濾，多維度提取用戶行為信息；
通過網絡行為（便于理解的信令）啟發式呈現用戶行為；
通 過 關 鍵 績 效 指 標 （ k e y performance indicator，KPI）、KQI、體驗質量（quality of experience，QoE）多個維度網絡指標量化映射網絡行為；
多個場景聯合分析，挖掘用戶感知；
建立特征，關聯端到端性能與模型，實現知識固化，通過固化的特征，指導用戶行為挖掘，實現閉環。
圖6為五元五階模型示意。其中，橫、縱坐標分別是五元五階的五元和五階變量，通 過 五元五階共10 個維度（在實際應用中維度通常會超過10個，新增的維度（如傳輸設備、數據通信設備）是指通過 “五元”關聯而新增的變量）的變量構建出用于主動運維的網絡行為分析、用戶行為分析、端到端性能分析、用戶感知分析以及網絡指標分析等。基于這些應用體系或應用系統的分析結果，實現先于用戶投訴就主動發現小至用戶級、大到全網的感知問題，感知到問題對應五元五階中“元”或者“階”的具體位置，繼而針對性地解決問題。這就是主動運維的過程。
圖6 五元五階模型
3.1? 樣本空間置換算法
通過五元五階模型，利用大數據可以構建出如圖7所示的多維數據倉庫（cube）。這樣可生成一維和多維的“5A” 用戶感知信息數據庫，其中，用戶感知多維數據倉庫是在一維基礎上的不同樣本數或所在不同空間維度的多元統計分析值。在該多維數據倉庫的基礎上，利用樣本空間置換算法進行用戶感知問題自動定界以及主動運維工作。樣本存在于空間中，是一定空間中的樣本。一定樣本組成的小空間構成了一個樣本，這個小空間形成的樣本又是更大空間的一個樣本。通過樣本和空間的不斷置換迭代進行相應感知指標的對比，可以快速發現整個LTE網絡用戶、手機、小區、網絡以及業務平臺可能潛在的故障或相應網元的性能劣化。
圖7 基于五元五階模型的多維數據倉庫
樣本空間置換算法實例如下。
案 例：用戶感知多維數據倉庫“發現”A用戶使用的某瀏覽業務網頁S無法呈現，而全網的其他業務基本正常。其中，A用戶使用B終端，事件發生時段為T（一般采用小時粒度）。
使用樣本空間置換算法可以快速地進行潛在“故障/隱患”判斷。判斷規則如下。
該時間段T內，全網除A之外的所有用戶使用瀏覽業務網頁S是否正常？如果全網所有用戶使用該業務均異常，那么業務網頁S發生故障。整個過程結束。否則，進行以下判斷。
全網使用終端B的用戶在該時段內瀏覽業務網頁S是否正常？如果正常，轉下一步。如果異常，全網使用終端B的用戶使用除業務網頁S外的業務是否正常？如果正常，結論是該款終端與該業務的匹配有問題。整個過程結束。
A用戶所在地點的小區其他用戶瀏覽業務網頁S是否正常？A用戶在T時段內在該小區瀏覽業務網頁S外的其他業務是否正常？A用戶在其他小區內使用其他業務是否正常？
通過上述簡單的比較過程，可以快速定界出此次異常事件的主因：業務S有問題，或者用戶A的個性問題，或者用戶使用的終端B有問題，或者用戶使用終端B的個性問題，或者用戶所在小區有問題，或者用戶所在小區與業務S的匹配問題，或者用戶所在小區對應的小區設備廠商的所有該版本設備有問題，或者用戶所在小區對應的核心網元的某個模塊甚至是核心網元有問題。
這就是基于樣本空間置換算法的五元五階模型。在時間維度上將用戶的體驗分解成不同的階段，通過空間上的5個維度的不斷相互置換，先于用戶投訴快速發現用戶感知不佳的原因，繼而解決故障隱患。
3.2? 樣本維度分類
假設用戶樣本的評估為y=f（{a, b, c, d, e}），其中，a為用戶維度，b為終端維度， c為小區維度，d為網絡維度，e為業務維度，f函數為基于上述五元維度的評估。
對于用戶維度，可以有以下幾類空間：單用戶A0，按運行速度分類用戶A1，…，全量用戶An。
終端維度：該終端B0，同款終端B1，同廠商終端B2，…，全量終端Bm。
小區維度：該小區C0，同暫時接入控制（temporal access control, TAC）C1，同區域C2，同特征區域群C3，同地市C4，…，全省Cp。
網絡維度：所在 核心網 D 0，同移動管理實體（mobile management entity, MME） pool D1，…，全量Dq。
業務維度：該樣本當前業務E0，同內容提供商（service provider, SP）E1，按數據分組大小分業務E2，同協議E3，…，全業務Er。
上述的五元組成的樣本集合形成了相應的空間集合，如下：
（A0，A1，A2，…，An）
（B0，B1，B2，…，Bm）
（C0，C1，C2，…，Cp）
（D0，D1，D2，…，Dq）
（E0，E1，E2，…，Er）
3.3? 樣本空間置換定界規則
（1）定義一套規則
單用戶A0從屬于按運行速率分類的某一類用戶A1，而A1又從屬于全量用戶An，那么如果存在 Ai從屬于Aj，且不 存在 Ak使得Ai從屬于Ak，且 Ak從屬于Aj，則認為father（Ai）=Aj，son（Aj）=Ai。
（2）定界的實現原理
目標是找到一個組合（Aw，Bv，Cx，Dy， Ez），其中，Aw是（A0，A1，A2，…，An）的元素，且 a從屬于Aw，其他 維度相同，使得f（{Aw，Bv，Cx，Dy，Ez}）達到異常閾值，而以下5個結果正常或偏向正常：
f（{father(Aw)，Bv，Cx，Dy，Ez}）
f（{Aw，father(Bv)，Cx，Dy，Ez}）
f（{Aw，Bv，father(Cx)，Dy，Ez}）
f（{Aw，Bv，Cx，father(Dy)，Ez}）
f（{Aw，Bv，Cx，Dy，father(Ez)}）
舉例說明，假設確認所有在TAC005下通過核心網絡SAEGW01的用戶業務指標異常（Cx為TAC005，Dy為SAEGW01），但是所有在TAC005從屬的大區域下通過核心網絡SAEGW01的用戶指標基本正常（Cx為father（TAC005）），且所有在TAC005通過其他所有核心網絡的用戶業務（Dy為father（SAEGW01）也正常，那問題就明確定界了，問題出現在該TAC005與SAEGW01之間。
（3）定界實現過程
對于異常樣本（a，b，c，d，e）：確定空間集合各個點的值，如A0為用戶王某某，A1為高速用戶，An為全量用戶。
明確5個維度內各個子空間的從屬關系：father（A0）=A1，…。分5個維度，從最高空間An，Bm，Cp，Dq，Er向下遍歷（可以是廣度遍歷，也可以是深度遍歷），直到找到目標Aw，Bv，Cx，Dy，Ez符合前面所述定界規則。
（4）定界過程的優化
由于維度與空間太多，必然出現維度過多的“維災難”。這種災難在數據量極大的大數據中必須有效降低。解決“維災難”的有效措施是無需遍歷所有可能的維度。考慮到五元（用戶/終端/小區/網絡/業務）中5個維度并非完全無關（非正交），有些組合可以排除，或者將可能性較低的5個維度的組合的遍歷順序放在后面，通過這種方式提高分析效率。當然，在實際工作中，通常通過經驗豐富的一線運維人員進行相關的規則優化整理，目的是實現精簡流程，快速實施定界。
一般而言，業務異常（業務維度）不會出現在小區級別（也就是該小區的同業務異常，其他小區的業務都正常），這種組合就可以排除或者放在最后。
4? 主動運維實踐案例
4.1? 通過主動運維提升面向網絡的主動管理能力案例
在傳統網元監控基礎上，通過集中性能管理平臺實現了網絡問題的自動預警，在網絡結構組合變化中，主動發現網元間的協調匹配問題以及網元潛在的惡化傾向，并自動觸發告警，問題定位定界準確率超過90%，目前主動運維成為網絡管理新常態。
如圖8所示，2015 年7月，集中性能管理平臺預警廈門局點出現下載速率低于全省均值20%的情況，傳統網管系統無法發現，客戶初期也沒有感知，但通過主動運維很快就發現并解決了問題。先利用五元五階模型定界出該問題屬于網絡側問題，并排除核心網問題，進一步排查確定不是廈門局點互聯網路由的問題，最終定位出是廈門局點與福州局點路由器參數配合問題，并將參數由“數據分組轉發”改為“數據流轉發”，優化后全省LTE下載速率提升25%左右，部分數據分組轉發速率提升40%。
圖8 主動運維提升全網下載速率實例
4.2? 通過主動運維提升面向客戶的實時保障能力案例
傳統運維模式只能統計15 min顆粒度的網元級指標，且時延30 min以上，主動運維實踐的系統不但可以統計1 min顆粒度的客戶級感知指標，還能全量記錄所有感知不佳的用戶清單及對應問題，且時延不超過3 min，真正具備了實時保障客戶感知的能力。如圖9所示，該系統有效保障了2016年“雙十一”電商購物客戶感知。
圖9 主動運維提升面向客戶的實時保障能力實例
4.3? 通過主動運維發現業務平臺問題案例
福州某小區的“歐朋瀏覽器”網站的HTTP業務成功率超過閾值觸發告警。進入自動定界流程，通過比較發現該SP全網的指標與同類業務其他SP全網的指標存在明顯劣化現象，定位為SP問題。采用基于樣本空間置換算法分析方法，對應的流程如圖10所示?；谶@類流程的主動運維模式發現并解決了大量端到端感知隱患，包括多個無線廠商設備缺陷、傳輸分組傳送網（packet transport network，PTN）接入網問題、省干傳輸問題、無線參數配置問題、基站參數設置問題、終端適配問題、內容源問題等。
圖10 主動運維發現業務平臺問題樣本空間置換過程實例
4.4? 通過主動運維發現蘋果終端TCP成功率偏低問題案例
2015年8月14日，主動運維平臺五階指標—— TCP核心網成功率突然出現劣化，由平時的98%下降到87%，網管系統未有任何告警信息。
問題排查：通過對五元維度的TCP核心網成功率進行對比分析，排除用戶、終端、小區、網絡故障，精準定位是由于部分業務側問題導致。專業室進一步排查，發現蘋果公司推送通知服務（apple push notification service，APNS）時延較長，該服務用于為有消息提醒服務的應用提供推送接口，可能蘋果公司在服務器側有進行相關業務性能的限制，對于超出能力的請求直接不響應，導致握手失敗。
5? 結束語
依托大數據技術，基于樣本空間置換算法的五元五階模型，創新提出并實踐了主動運維的新運維模式，以用戶使用業務的端到端全流程體驗視角，快速發現網絡中各節點之間的性能失衡、趨勢異常等隱性問題，運維人員根據分析結果主動出擊，在故障發生前，有的放矢地進行精確優化，降低成本，提升移動互聯網的網絡質量及客戶滿意度。這種基于大數據的模式徹底改變了運營商的思維方式和生產方式，這些實踐傳統的非大數據做法是無法實現的，印證了大數據能產生大價值的思想。
大數據要產生價值，就要追求大數據生態系統的構建。數據取之于生產，源于生產過程的各個環節。大數據要服務于生產，大數據的結果要融入生產的流程，才能產生大作用。大數據的應用使得使用主體真正擁有數據資產能力。大數據理論體系注定是非實時的，然而實時的大數據應用是特殊行業的剛性需求，必須采取創新的思維和技術。運營商的網絡運維工作始終追求高效率和低成本。眾所周知，基于大數據相關技術，傳統的許多無法實現的 “愿望”在大數據的支撐下可以很容易實現。然而，由于大數據是海量的，原先認為可以做到的事情可能因為大數據的大量數據變得很難實現。大數據技術在實踐過程中，需要辯證地在存儲、計算、效率、效果等多種維度中折中地進行取舍，如“全量的用戶、抽樣的信息；抽樣的用戶、全量的信息”“特定事件、抽樣的時段信息”“非實時的匯聚的信息，實時的原始（未匯聚）的記錄”“精確地計算，大膽地近似”。
最后說明一點，本文涉及的利用大數據實施運營商主動運維技術由于涉及具有運營商特點的技術、流程和專業術語，限于篇幅無法解釋說明清楚。詳細可以查閱參考文獻[5]。
參考文獻：
[1]李國杰 . 對大數 據的再認識 [ J ] . 大數 據, 2015001.
? LI G J. Further underst and i ng of big data[J]. Big Data Research, 2015001
[2]周傲英, 錢衛寧, 王長波. 數據科學與工程：大數據時代的新興交叉學科[J]. 大數據, 2015022.
?ZHOU A Y, QIAN W N, WANG C B. Data sciences and engineering an emerging interdisciplinary in the big data era[J]. Big Data Research, 2015022.
[3]鄭緯民. 從系統角度審視大數據計算[J]. 大數據, 2015002.
?ZHENG W M . Reviewing big data computation from a system perspective[J]. Big Data Research, 2015002.
[4]HAN J W, KAMBER M, PE I J. Dat a mining: concepts and techniques(3rdedition)[M]. Burlington: Morgan Kaufmann, 2011.
[5]李正茂. 通信4.0：重新發明通信網[M]. 北京:中信出版集團, 2016.
?LI Z M. Communications V4.0: reinvention communication networks [M]. Beijing: Citic Press Group, 2016.
[6]中國移動通信集團公司. 中國移動上網日志留存系統三期規范—LTE采集解析設備XDR接口規范[R]. 北京: 中國移動通信集團公司，2015.??
China Mobile. The specification of internet log retention system (Phase III) of China Mobile—the interface of XDR specification of LTE DPI[R]. [S.l.:s.n.], 2015.
楊慰民（1970-），男，博士，中國移動通信集團福建有限公司網管中心副總經理，通信專業教授級高級工程 師，享受國務院特殊津貼。長期致力于數字通信、移動通信、通信中的信號處理和智能信息處理、大數據應用等 領域的科學研究工作?；诖髷祿腖TE網絡主動運維成果獲2015年度中國移動科技進步獎一等獎。
總結
以上是生活随笔為你收集整理的【2016年第6期】基于大数据的移动互联网主动运维理论和实践进展的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： dup和dup2以及cat函数函数
- 下一篇： fcntl函数-文件控制函数