muduo网络库学习(七)用于创建服务器的类TcpServer
目前為止,涉及到的絕大多數操作都沒有提及線程,EventLoop,Poller,Channel,Acceptor,TcpConnection,這些對象的執行都是在單獨線程完成,并沒有設計多線程的創建銷毀等。除了runInLoop函數僅僅提及了線程安全性,發現原來其實是有多個線程在同時運行的,也發現某個對象可能會暴露給其他線程,這樣不安全,為了解決不安全隱患,muduo為每個EventLoop設計了runInLoop和queueInLoop函數用來將本該在其他線程執行的線程不安全函數放到它所屬線程執行,從而達到線程安全。
之所以線程的存在感比較低的原因在于,muduo采用one loop per thread的設計思想,即每個線程運行一個循環,這里的循環也就是事件驅動循環EventLoop。所以,EventLoop對象的loop函數,包括間接引發的Poller的poll函數,Channel的handleEvent函數,以及TcpConnection的handle*函數都是在一個線程內完成的。而在整個muduo體系中,有著多個這樣的EventLoop,每個EventLoop都執行著loop,poll,handleEvent,handle*這些函數。這種設計模型也被成為Reactor + 線程池
而處于食物鏈頂層,控制著這些EventLoop的,換句話說,保存著事件驅動循環線程池的,就是TcpServer類。顧名思義,服務器類,用來創建一個高并發的服務器,內部便有一個線程池,線程池中有大量的線程,每個線程運行著一個事件驅動循環,即one loop per thread。
另外,TcpServer本身也是一個線程(主線程),也運行著一個EventLoop,這個事件驅動循環僅僅用來監控客戶端的連接請求,即Acceptor對象的Channel的可讀事件。通常如果用戶添加定時器任務的話,也會由這個EventLoop監聽
但是TcpServer的這個EventLoop不在線程池中,這一點要區分開,線程池中的線程只用來運行負責監控TcpConnection的EventLoop的
TcpServer的成員變量主要以EventLoop,Acceptor,TcpConnection, EventLoopThreadLoop為主,其它變量主要是各種用戶提供的回調函數,大多都傳給每一個TcpConnection對象
typedef std::map<string, TcpConnectionPtr> ConnectionMap;/* TcpServer所在的主線程下運行的事件驅動循環,負責監聽Acceptor的Channel */EventLoop* loop_; // the acceptor loop/* 服務器負責監聽的本地ip和端口 */const string ipPort_;/* 服務器名字,創建時傳入 */const string name_;/* Acceptor對象,負責監聽客戶端連接請求,運行在主線程的EventLoop中 */std::unique_ptr<Acceptor> acceptor_; // avoid revealing Acceptor/* 事件驅動線程池,池中每個線程運行一個EventLoop */std::shared_ptr<EventLoopThreadPool> threadPool_;/* 用戶傳入,有tcp連接到達或tcp連接關閉時調用,傳給TcpConnection */ConnectionCallback connectionCallback_;/* 用戶傳入,對端發來消息時調用,傳給TcpConnection */MessageCallback messageCallback_;/* 成功寫入內核tcp緩沖區后調用,傳給TcpConnection */WriteCompleteCallback writeCompleteCallback_;/* 線程池初始化完成后調用,傳給EventLoopThreadPool,再傳給每個EventLoopThread */ThreadInitCallback threadInitCallback_;AtomicInt32 started_;// always in loop thread/* TcpConnection特有id,每增加一個TcpConnection,nextConnId_加一 */int nextConnId_;/* 所有的TcpConnection對象,智能指針 */ConnectionMap connections_;- 事件驅動循環EventLoop如上所說,運行在主線程,只用來監聽客戶端連接請求(Acceptor),不負責監聽TcpConnection
- Acceptor用來監聽客戶端請求,在muduo網絡庫學習(五)服務器監聽類Acceptor及Tcp連接TcpConnection的建立與關閉中有提及
- 事件驅動循環線程池EventLoopThreadPool用于分發線程,當新建TcpConnection時,從線程池中選出一個事件驅動循環線程負責這個TcpConnection
- connections_是std::map<string, shared_ptr<TcpConnection> >類型,在新建TcpConnection后會添加到這個map中,可以保證每個TcpConnection在添加后引用計數為1,保證生命期的正常管理。在tcp連接關閉后會從map中刪除TcpConnection,使引用計數減1,為了防止引用計數為0導致沒有從TcpConnection的函數中返回就已經將TcpConnection銷毀,在removeConnectionInLoop中使用std::bind延長了TcpConnection的生命期,在muduo網絡庫學習(五)服務器監聽類Acceptor及Tcp連接TcpConnection的建立與關閉中有提及
構造函數主要任務是為Acceptor設置回調函數,當有新的客戶端連接時由Acceptor接收后調用這個回調函數
TcpServer::TcpServer(EventLoop* loop,const InetAddress& listenAddr,const string& nameArg,Option option): loop_(CHECK_NOTNULL(loop)),ipPort_(listenAddr.toIpPort()),name_(nameArg),acceptor_(new Acceptor(loop, listenAddr, option == kReusePort)),threadPool_(new EventLoopThreadPool(loop, name_)),connectionCallback_(defaultConnectionCallback),messageCallback_(defaultMessageCallback),nextConnId_(1) {/* * 設置回調函數,當有客戶端請求時,Acceptor接收客戶端請求,然后調用這里設置的回調函數* 回調函數用于創建TcpConnection連接*/acceptor_->setNewConnectionCallback(std::bind(&TcpServer::newConnection, this, _1, _2)); }回調函數newConnection用于創建一個TcpConnection,將其添加到connections_中,然后設置各種用戶提供的回調函數(有數據可讀時/連接關閉時/出現錯誤時等)
/* * Acceptor接收客戶端請求后調用的回調函數* @param sockfd: 已經接收完成(三次握手完成)后的客戶端套接字* @param peerAddr: 客戶端地址* * Acceptor只負責接收客戶端請求* TcpServer需要生成一個TcpConnection用于管理tcp連接* * 1.TcpServer內有一個EventLoopThreadPool,即事件循環線程池,池子中每個線程都是一個EventLoop* 2.每個EventLoop包含一個Poller用于監聽注冊到這個EventLoop上的所有Channel* 3.當建立起一個新的TcpConnection時,這個連接會放到線程池中的某個EventLoop中* 4.TcpServer中的baseLoop只用來檢測客戶端的連接* * 從libevent的角度看就是* 1.EventLoopThreadPool是一個struct event_base的池子,池子中全是struct event_base* 2.TcpServer獨占一個event_base,這個event_base不在池子中* 3.TcpConnection會扔到這個池子中的某個event_base中*/ void TcpServer::newConnection(int sockfd, const InetAddress& peerAddr) {loop_->assertInLoopThread();/* 從事件驅動線程池中取出一個線程給TcpConnection */EventLoop* ioLoop = threadPool_->getNextLoop();/* 為TcpConnection生成獨一無二的名字 */char buf[64];snprintf(buf, sizeof buf, "-%s#%d", ipPort_.c_str(), nextConnId_);++nextConnId_;string connName = name_ + buf;LOG_INFO << "TcpServer::newConnection [" << name_<< "] - new connection [" << connName<< "] from " << peerAddr.toIpPort();/* * 根據sockfd獲取tcp連接在本地的<地址,端口>* getsockname(int fd, struct sockaddr*, int *size);*/InetAddress localAddr(sockets::getLocalAddr(sockfd));// FIXME poll with zero timeout to double confirm the new connection// FIXME use make_shared if necessary/* 創建一個新的TcpConnection代表一個Tcp連接 */TcpConnectionPtr conn(new TcpConnection(ioLoop,connName,sockfd,localAddr,peerAddr));/* 添加到所有tcp 連接的map中,鍵是tcp連接獨特的名字(服務器名+客戶端<地址,端口>) */connections_[connName] = conn;/* 為tcp連接設置回調函數(由用戶提供) */conn->setConnectionCallback(connectionCallback_);conn->setMessageCallback(messageCallback_);conn->setWriteCompleteCallback(writeCompleteCallback_);/* * 關閉回調函數,由TcpServer設置,作用是將這個關閉的TcpConnection從map中刪除* 當poll返回后,發現被激活的原因是EPOLLHUP,此時需要關閉tcp連接* 調用Channel的CloseCallback,進而調用TcpConnection的handleClose,進而調用removeConnection*/conn->setCloseCallback(std::bind(&TcpServer::removeConnection, this, _1)); // FIXME: unsafe/* * 連接建立后,調用TcpConnection連接建立成功的函數* 1.新建的TcpConnection所在事件循環是在事件循環線程池中的某個線程* 2.所以TcpConnection也就屬于它所在的事件驅動循環所在的那個線程* 3.調用TcpConnection的函數時也就應該在自己所在線程調用* 4.所以需要調用runInLoop在自己的那個事件驅動循環所在線程調用這個函數* 5.當前線程是TcpServer的主線程,不是TcpConnection的線程,如果在這個線程直接調用會阻塞監聽客戶端請求* 6.其實這里不是因為線程不安全,即使在這個線程調用也不會出現線程不安全,因為TcpConnection本就是由這個線程創建的*/ioLoop->runInLoop(std::bind(&TcpConnection::connectEstablished, conn)); }兩個比較重要的調用
EventLoop* ioLoop = threadPool_->getNextLoop();如下,采用round_robin算法來選擇一個線程,其實就是在線程池中挨著取每一個線程,這次取第一個,下次就取第二個…取到最后一個后再從第一個開始取
/* 從線程池中取出一個線程,挨著取 */ EventLoop* EventLoopThreadPool::getNextLoop() {baseLoop_->assertInLoopThread();assert(started_);/* 線程池所在線程,TcpServer的主線程 */EventLoop* loop = baseLoop_;/* * 如果不為空,取出一個* 如果為空,說明線程池中沒有創建線程,是單線程程序,返回主線程*/if (!loops_.empty()){// round-robin/* loops_保存所有的線程 */loop = loops_[next_];++next_;if (implicit_cast<size_t>(next_) >= loops_.size()){next_ = 0;}}return loop; }TcpConnection::connectEstablished在muduo網絡庫學習(五)服務器監聽類Acceptor及Tcp連接TcpConnection的建立與關閉中提到過,主要做一些初始化工作,比如傳遞自己的智能指針給Channel用于Channel判斷tcp連接是否還在,將Channel添加到Poller中,調用用戶的回調函數
/* * 1.創建服務器(TcpServer)時,創建Acceptor,設置接收到客戶端請求后執行的回調函數* 2.Acceptor創建監聽套接字,將監聽套接字綁定到一個Channel中,設置可讀回調函數為Acceptor的handleRead* 3.服務器啟動,調用Acceptor的listen函數創建監聽套接字,同時將Channel添加到Poller中* 4.有客戶端請求連接,監聽套接字可讀,Channel被激活,調用可讀回調函數(handleRead)* 5.回調函數接收客戶端請求,獲得客戶端套接字和地址,調用TcpServer提供的回調函數(newConnection)* 6.TcpServer的回調函數中創建TcpConnection代表這個tcp連接,設置tcp連接各種回調函數(由用戶提供給TcpServer)* 7.TcpServer讓tcp連接所屬線程調用TcpConnection的connectEstablished* 8.connectEstablished開啟對客戶端套接字的Channel的可讀監聽,然后調用用戶提供的回調函數*/ void TcpConnection::connectEstablished() {loop_->assertInLoopThread();assert(state_ == kConnecting);setState(kConnected);/* Channel中對TcpConnection的弱引用在這里設置 */channel_->tie(shared_from_this());/* 設置對可讀事件的監聽,同時將Channel添加到Poller中 */channel_->enableReading();/* 用戶提供的回調函數,在連接建立成功后調用 */connectionCallback_(shared_from_this()); }用戶程序代碼使用TcpServer的例子大致如下
void onConnection(const muduo::net::TcpConnectionPtr& conn) {... }void onMessage(const muduo::net::TcpConnectionPtr& conn,muduo::net::Buffer* buf,muduo::Timerstamp time) {... }int main() {muduo::net::EventLoop loop;muduo::net::InetAddress listenAddr(2007);TcpServer server(&loop, listenAddr);server.setConnectionCallback(std::bind(onConnection, _1));server.setMessageCallback(std::bind(onMessage, _1, _2, _3));server.start();loop.loop();return 0; }由上面的例子可知,要想使用TcpServer,需要
TcpServer中的成員變量loop_就是這里創建的EventLoop,是主線程的事件驅動循環。
需要注意的是開啟服務器監聽用到的是EventLoop::loop()函數,TcpServer::start()是用來啟動內部事件驅動線程池的
此時還沒有開啟對客戶端連接請求的監聽,因為監聽套接字所在的EventLoop還沒有開啟循環,需要調用loop函數,EventLoop在muduo網絡庫學習(四)事件驅動循環EventLoop中有提及
剩下兩個函數removeConnection和removeConnectionInLoop用于關閉TcpConnection連接,在muduo網絡庫學習(五)服務器監聽類Acceptor及Tcp連接TcpConnection的建立與關閉中有提及。主要就是從connections_中刪除,然后調用TcpConnection::connectDestroyed函數執行析構前最后的清理工作,也有線程不安全的問題,都有解釋
TcpServer本身的接口比較少,也正是為了簡化用戶的操作,不需要考慮太多,只管創建一個TcpServer對象即可,剩下的muduo在內部都可以自己完成
總結
以上是生活随笔為你收集整理的muduo网络库学习(七)用于创建服务器的类TcpServer的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 每天一道LeetCode-----KMP
- 下一篇: 每天一道LeetCode----位运算实