轉載

主要內容：TCP定時器概述，超時重傳定時器、ER延遲定時器、PTO定時器的實現。

內核版本：3.15.2

我的博客：http://blog.csdn.net/zhangskd

?

Q：一條TCP連接會使用多少個定時器呢？

A：目前的答案是9個：

超時重傳定時器，持續定時器，ER延遲定時器，PTO定時器，ACK延遲定時器，

SYNACK定時器，保活定時器，FIN_WAIT2定時器，TIME_WAIT定時器。

?

數據結構

?

幾種定時器的標識：

#define ICSK_TIME_RETRANS 1 /* Retransmit timer */

#define ICSK_TIME_DACK 2 /* Delayed ack timer */

#define ICSK_TIME_PROBE0 3 /* Zero window probe timer */

#define ICSK_TIME_EARLY_RETRANS 4 /* Early retransmit timer */

#define ICSK_TIME_LOSS_PROBE 5 /* Tail loss probe timer */

?

上述5種定時器分別為：超時重傳定時器、ACK延遲定時器、持續定時器、ER延遲定時器、PTO定時器。

另外還有保活定時器、FIN_WAIT2定時器、TIME_WAIT定時器、SYNACK定時器。

?

雖然定義了9個定時器，但是內核中只用了4個實例(timer_list)，所以有些定時器是共用一個實例的。

這4個實例分別是：

icsk->icsk_retransmit_timer：超時重傳定時器、持續定時器、ER延遲定時器、PTO定時器。

icsk->icsk_delack_timer：ACK延遲定時器。

sk->sk_timer：保活定時器，SYNACK定時器，FIN_WAIT2定時器。

death_row->tw_timer：TIME_WAIT定時器。

?

創建和刪除

?

(1) 定時器的創建

tcp_v4_init_sock

??? |-> tcp_init_sock

???????????? |-> tcp_init_xmit_timers

??????????????????????? |-> inet_csk_init_xmit_timers

?

在初始化連接時，設置三個定時器實例的處理函數：

icsk->icsk_retransmit_timer的處理函數為tcp_write_timer()

icsk->icsk_delack_timer的處理函數為tcp_delack_timer()

sk->sk_timer的處理函數為tcp_keepalive_timer()

void tcp_init_xmit_timers(struct sock *sk) {inet_csk_init_xmit_timers(sk, &tcp_write_timer, &tcp_delack_timer, &tcp_keepalive_timer); } /** Using different timers for retransmit, delayed acks and probes.* We may wish use just one timer maintaining a list of expire jiffies to optimize.*/void inet_csk_init_xmit_timers(struct sock *sk, void (*retransmit_handler) (unsigned long),void (*delack_handler) (unsigned long),void (*keepalive_handler) (unsigned long)) {struct inet_connection_sock *icsk = inet_csk(sk);setup_timer(&icsk->icsk_retransmit_timer, retransmit_handler, (unsigned long)sk);setup_timer(&icsk->icsk_delack_timer, delack_timer, (unsigned long)sk);setup_timer(&sk->sk_timer, keepalive_handler, (unsigned long)sk);icsk->icsk_pending = icsk->icsk_ack.pending = 0; }

?

(2) 定時器的刪除

tcp_done

tcp_disconnect

tcp_v4_destroy_sock

??? |-> tcp_clear_xmit_timers

????????????? |-> inet_csk_clear_xmit_timers

void inet_csk_clear_xmit_timers(struct sock *sk) {struct inet_connection_sock *icsk = inet_csk(sk);icsk->icsk_pending = icsk->icsk_ack.pending = icsk->icsk_ack.blocked = 0;sk_stop_timer(sk, &icsk->icsk_retransmit_timer);sk_stop_timer(sk, &icsk->icsk_delack_timer);sk_stop_timer(sk, &sk->sk_timer); }

?

激活

?

icsk->icsk_retransmit_timer和icsk->icsk_delack_timer的激活函數為inet_csk_reset_xmit_timer()，

共負責了5個定時器的激活工作。

/** Reset the retransmissiion timer*/ static inline void inet_csk_reset_xmit_timer(struct sock *sk, const int what,unsigned long when,const unsigned long max_when) {struct inet_connection_sock *icsk = inet_csk(sk);if (when > max_when) { #ifdef INET_CSK_DEBUGpr_debug("reset_xmit_timer: sk=%p %d when=0x%lx, caller=%p\n",sk, what, when, current_text_addr()); #endifwhen = max_when;}if (what == ICSK_TIME_RETRANS || what == ICSK_TIME_PROBE0 || what == ICSK_TIME_EARLY_RETRANS || what == ICSK_TIME_LOSS_PROBE) {icsk->icsk_pending = what;icsk->icsk_timeout = jiffies + when; /*數據包超時時刻*/sk_reset_timer(sk, &icsk->icsk_retransmit_timer, icsk->icsk_timeout);} else if (what == ICSK_TIME_DACK) {icsk->icsk_ack.pending |= ICSK_ACK_TIMER;icsk->icsk_ack.timeout = jiffies + when; /*Delay ACK定時器超時時刻*/sk_reset_timer(sk, &icsk->icsk_delack_timer, icsk->icsk_ack.timeout);} #ifdef INET_CSK_DEBUGelse {pr_debug("%s", inet_csk_timer_bug_msg);} #endif }

其中，超時重傳定時器(ICSK_TIME_RETRANS)在以下幾種情況下會被激活：

1. 發現對端把保存在接收緩沖區的SACK段丟棄時。

2. 發送一個數據段時，發現之前網絡中不存在發送且未確認的段。

??? 之后每當收到確認了新數據段的ACK，則重置定時器。

3. 發送SYN包后。

4. 一些特殊情況。

?

超時處理函數

?

當icsk->icsk_retransmit_timer超時后，會調用其處理函數tcp_write_timer()進行處理。

staic void tcp_write_timer(unsigned long data) {struct sock *sk = (struct sock *)data;bh_lock_sock(sk);if (! sock_owned_by_user(sk)) { /* sk沒被用戶空間占用 */tcp_write_timer_handler(sk);} else { /* 否則先設置延遲標志，之后再處理 *//* delegate our work to tcp_release_cb() */if (! test_and_set_bit(TCP_WRITE_TIMER_DEFERRED, &tcp_sk(sk)->tsq_flags))sock_hold(sk);}bh_unlock_sock(sk);sock_put(sk); }

icsk->icsk_retransmit_timer可同時作為：超時重傳定時器、持續定時器、ER延遲定時器、PTO定時器，

所以需要判斷是哪種定時器觸發的，然后采取相應的處理措施。

void tcp_write_timer_handler(struct sock *sk) {struct inet_connection_sock *icsk = inet_csk(sk);int event;/* 如果連接處于CLOSED狀態，或者沒有定時器在計時 */if (sk->sk_state == TCP_CLOSE || !icsk->icsk_pending)goto out;/* 如果定時器還沒有超時，那么繼續計時 */if (time_after(icsk->icsk_timeout, jiffies)) {sk_reset_timer(sk, &icsk->icsk_retransmit_timer, icsk->icsk_timeout);goto out;}event = icsk->icsk_pending; /* 用于表明是哪種定時器 */switch(event) {case ICSK_TIME_EARLY_RETRANS: /* ER延遲定時器觸發的 */tcp_resume_early_retransmit(sk); /* 進行early retransmit */break;case ICSK_TIME_LOSS_PROBE: /* PTO定時器觸發的 */tcp_send_loss_probe(sk); /* 發送TLP探測包 */break;case ICSK_TIME_RETRANS: /* 超時重傳定時器觸發的 */icsk->icsk_pending = 0;tcp_retransmit_timer(sk);break;case ICSK_TIME_PROBE0: /* 持續定時器觸發的 */icsk->icsk_pending = 0;tcp_probe_timer(sk);break;}out:sk_mem_reclaim(sk); }

?

如果是超時重傳定時器觸發的，就會調用tcp_retransmit_timer()進行處理。?

void tcp_retransmit_timer(struct sock *sk) {struct tcp_sock *tp = tcp_sk(sk);struct inet_connection_sock *icsk = inet_csk(sk);/* Fast Open特性相關，暫時不做分析 */if (tp->fastopen_rsk) {...}/* 如果沒有發送且未確認的數據段，沒有等待哪來的超時，直接返回 */if (! tp->packets_out)goto out; /* 如果發送隊列為空，顯然不合理 */WARN_ON(tcp_write_queue_empty(sk));/* 發生RTO超時表明數據包的確丟失了，所以不用再進行額外檢測了 */tp->tlp_high_seq = 0;/* 如果對端通告窗口為0，sk不處于DEAD狀態，TCP連接不處于三次握手 *//* Receiver dastardly shrinks window. Our retransmits become zero probes,* but we should not timeout this connection. If the socket is an orphan, time it out,* we cannot allow such beasts to hang infinitely. */if (! tp->snd_wnd && ! sock_flag(sk, SOCK_DEAD) && ! ((1 << sk->sk_state) & (TCPF_SYN_SENT | TCPF_SYN_RECV))) {struct inet_sock *inet = inet_sk(sk);if (sk->sk_family == AF_INET) {LIMIT_NETDEBUG(KERN_DEBUG pr_fmt("Peer %pI4:%u/ %u unexpectedly shrunk window %u:%u (repaired)\n",&inet->inet_daddr, ntohs(inet->inet_dport), inet->inet_num, tp->snd_una, tp->snd_nxt);}#if IS_ENABLED(CONFIG_IPV6)/* IPv6的處理，此處省略 */... #endif/* 距離上次收到ACK的時間超過了最大超時時間，認為有錯誤發生了*/if (tcp_time_stamp - tp->rcv_tstamp > TCP_RTO_MAX) {tcp_write_err(sk); /* 報告錯誤，調用tcp_done終止連接 */goto out;}/* 進入Loss狀態，標志丟失的數據段 */tcp_enter_loss(sk, 0);/* 重傳發送隊列的第一個數據段 */tcp_retransmit_skb(sk, tcp_write_queue_head(sk));__sk_dst_reset(sk); /* 更新路由緩存 */goto out_reset_timer;}/* 如果重傳次數達到上限，報告錯誤并關閉套接口。* 如果資源使用達到上限，放棄本次重傳。*/if (tcp_write_timeout(sk))goto out;/* 剛進入超時重傳 */if (icsk->icsk_retransmits == 0) {int mib_idx;/* Recovery狀態中發生超時 */if (icsk->icsk_ca_state == TCP_CA_Recovery) {if (tcp_is_sack(tp))mib_idx = LINUX_MIB_TCPSACKRECOVERYFAIL;elsemib_idx = LINUX_MIB_TCPRENORECOVERYFAIL;} else if (icsk->icsk_ca_state == TCP_CA_Loss) { /* Loss狀態中發生超時 */ mib_idx = LINUX_MIB_TCPLOSSFAILURES;} else if (icsk->icsk_ca_state == TCP_CA_Disorder) || tp->sacked_out) {/* Disorder狀態中發生超時 */if (tcp_is_sack(tp))mib_idx = LINUX_MIB_TCPSACKFAILURES;elsemib_idx = LINUX_MIB_TCPRENOFAILURES;} else { /* Open狀態或CWR狀態中發生超時 */mib_idx = LINUX_MIB_TCPTIMEOUTS;}NET_INC_STATS_BH(sock_net(sk), mib_idx);}/* 進入Loss狀態，標志丟失的數據段。* 值得注意的是不再使用tcp_enter_frto_loss()，FRTO機制被重寫了。*/tcp_enter_loss(sk, 0);/* 重傳發送隊列的第一個數據段，如果失敗說明是本地擁塞，那么不進行指數退避 */if (tcp_retransmit_skb(sk, tcp_write_queue_head(sk)) > 0) {/* Retransmission failed because of local congestion, do not backoff. */if (! icsk->icsk_retransmits)icsk->icsk_retransmits = 1;inet_csk_reset_xmit_timer(sk, ICSK_TIME_RETRANS, min(icsk->icsk_rto, TCP_RESOURCE_PROBE_INTERVAL),TCP_RTO_MAX);goto out;}icsk->icsk_backoff++; /* 退避指數，采集到新的RTT樣本時清零 */icsk->icsk_retransmits++; /* 超時次數，當確認了新數據時清零 */out_reset_timer:/* 對于符合條件的Thin stream不使用指數退避，重復超時6次后除外（太慘了：） */if (sk->sk_state == TCP_ESTABLISHED && (tp->thin_lto || sysctl_tcp_thin_linear_timeouts) &&tcp_stream_is_thin(tp) && icsk->icsk_retransmits <= TCP_THIN_LINEAR_RETRIES) {icsk->icsk_backoff = 0;icsk->icsk_rto = min(__tcp_set_rto(tp), TCP_RTO_MAX); /* RTO保持原樣 */} else { /* Use normal (exponential) backoff */icsk->icsk_rto = min(icsk->icsk_rto << 1, TCP_RTO_MAX); /* RTO翻倍 */}/* 重置超時定時器，就是上文說的激活 */inet_csk_reset_xmit_timer(sk, ICSK_TIME_RETRANS, icsk->icsk_rto, TCP_RTO_MAX);/* 當重傳多次時，需要根據重傳時間間隔，決定是否更新路由緩存 */if (retransmits_timed_out(sk, sysctl_tcp_retries1 + 1, 0, 0))__sk_dst_reset(sk);out:; }

?

連接的超時

?

很明顯，重傳不能無限的進行下去，當重傳的次數超過設定的上限時，就會判定連接超時，關閉該連接。

此后相應的socket函數，比如connect和send，就會返回-1，errno設為ETIMEDOUT，表示連接超時。

?

判定連接是否超時，如果超過了最大等待時間，就放棄此連接。

/* A write timeout has occurred. Process the after effects. */ static int tcp_write_timeout (struct sock *sk) {struct inet_connection_sock *icsk = inet_csk(sk);struct tcp_sock *tp = tcp_sk(sk);int retry_until;bool do_reset, syn_set = false;/* 如果超時是發生在三次握手期間 */if ((1 << sk->sk_state) & (TCPF_SYN_SENT | TCPF_SYN_RECV)) {if (icsk->icsk_retransmits) { /* 如果之前重傳過了 */dst_negative_advice(sk); /* 更新目的路由緩存 *//* SYN攜帶Fast Open選項，或SYN攜帶數據 */if (tp->syn_fastopen || tp->syn_data)tcp_fastopen_cache_set(sk, 0, NULL, true);if (tp->syn_data)NET_INC_STATS_BH(sock_net(sk), LINUX_MIB_TCPFASTOPENACTIVEFAIL);}/* SYN的最大重傳次數，由TCP_SYNCNT選項和tcp_syn_retries參數決定，默認是5次 */retry_until = icsk->icsk_syn_retries ?: sysctl_tcp_syn_retries;syn_set = true;} else {/* tcp_retries1默認為3，當重傳次數超過此值時，表示可能遇到了黑洞，需要進行PMTU* 檢測，同時更新路由緩存。*/if (retransmits_timed_out(sk, sysctl_tcp_retries1, 0, 0)) {/* Black hole detection */tcp_mtu_probing(icsk, sk); /* PMTU檢測 */dst_negative_advic(sk); /* 更新路由緩存 */}retry_until = sysctl_tcp_retries2; /* 在斷開TCP連接之前，最多進行多少次重傳，默認值為15 *//* 如果當前套接口即將關閉 */if (sock_flag(sk, SOCK_DEAD)) {const int alive = (icsk->icsk_rto < TCP_RTO_MAX);retry_until = tcp_orphan_retries(sk, alive); /* 決定重傳次數 */do_reset = alive || ! retransmits_timed_out(sk, retry_until, 0, 0);/* 如果當前的孤兒socket數量超過tcp_max_orphans，或者內存不夠時，關閉此連接 */if (tcp_out_of_resources(sk, do_reset))return 1;}}/* 判定連接是否等待過久，即是否超時 */if (retransmits_timed_out(sk, retry_until, syn_set ? 0 : icsk->icsk_user_timeout, syn_set)) {/* Has it gone just too far ? */tcp_write_err(sk);return 1;} }/* Calculate maximal number or retries on an orphaned socket. */ static int tcp_orphan_retries (struct sock *sk, int alive) {int retries = sysctl_tcp_orphan_retries; /* May be zero. *//* We know from an ICMP that something is wrong. */if (sk->sk_err_soft && !alive)retries = 0;/* However, if socket sent something recently, select some safe number of retries.* 8 corresponds to > 100 seconds with minimal RTO of 200msec.*/if (retries == 0 && alive)retries = 8;return retries; }

?

判斷連接是否超時，要分為3種情況。

1. SYN包：當SYN包的重傳次數達到上限時，判定連接超時。(默認允許重傳5次，初始超時時間為1s，總共歷時31s)

2. 非SYN包，用戶使用TCP_USER_TIMEOUT：當數據包發出去后的等待時間超過用戶設置的時間時，判定連接超時。

3. 非SYN包，用戶沒有使用TCP_USER_TIMEOUT：當數據包發出去后的等待時間超過以TCP_RTO_MIN為初始超時

時間，重傳boundary次所花費的時間后，判定連接超時。

?

如果返回值為真，判定連接超時，則關閉連接，把errno設置為ETIMEDOUT，Socket函數返回-1。

boundary為最大重傳次數，timeout為用戶設置的超時時間。(通過TCP_USER_TIMEOUT選項設置)

struct tcp_sock {.../* Timestamp of the last retransmit, also used in SYN-SENT to remember stamp of* the first SYN.*//* 上面的注釋是錯誤的，變量的含義為：* 1. 原始SYN包的發送時間點，不是重傳的。* 2. 本次重傳時，第一個被重傳的包，原始包的發送時間點。* 這個變量是用來計算連接的超時關閉時間：一個包發送多久還沒有得到響應，就判斷連接超時。*/u32 retrans_stamp; ... };/* This function calculates a "timeout" which is equivalent to the timeout of a TCP connection* after " boundary unsuccessful, exponentially backed-off retransmissions with an initial RTO* of TCP_RTO_MIN or TCP_TIMEOUT_INIT if syn_set flag is set.*/ static bool retransmits_timed_out (struct sock *sk, unsigned int boundary, unsigned int timeout,bool syn_set) {unsigned int linear_backoff_thresh, start_ts;/* 如果是SYN包，則默認的初始超時時間為1s，否則為200ms。*/unsigned int rto_base = syn_set ? TCP_TIMEOUT_INIT : TCP_RTO_MIN;if (! inet_csk(sk)->icsk_retransmits))return false; /* 如果之前沒有重傳過，直接返回false *//* start_ts為開始計時點，注意是原始包第一次被發送時的時間戳，不是重傳包的 */if (unlikely(! tcp_sk(sk)->retrans_stamp)) start_ts = TCP_SKB_CB(tcp_write_queue_head(sk))->when;elsestart_ts = tcp_sk(sk)->retrans_stamp;/* 包括兩種情況：* SYN包：timeout始終設置為0，因為在三次握手時TCP_USER_TIMEOUT是無效的。* 非SYN包：用戶沒有使用TCP_USER_TIMEOUT選項時。*/if (likely(timeout == 0)) { /* 當rto不超過最大值時，能夠進行多少次指數退避。* 以SYN包為例，rto_base為1s，此值向上取整為7。*/linear_backoff_thresh = ilog2(TCP_RTO_MAX/rto_base); /* 從計時點開始，經過boundary次重傳后，總共花費的時間 */if (boundary <= linear_backoff_thresh)timeout = ((2 << boundary) -1) * rto_base; elsetimeout = ((2 << linear_backoff_thresh) -1) * rto_base + (boundary - linear_backoff_thresh) * TCP_RTO_MAX;}

return (tcp_time_stamp - start_ts) >= timeout; /* 判斷等待時間是否過長，即是否要放棄連接 */

總結

以上是生活随笔為你收集整理的TCP的定时器系列 — 超时重传定时器（有图有代码有真相！！！）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。