線程池是Mysql5.6的一個核心功能，對于服務器應用而言，無論是web應用服務還是DB服務，高并發請求始終是一個繞不開的話題。當有大量請求并發訪問時，一定伴隨著資源的不斷創建和釋放，導致資源利用率低，降低了服務質量。線程池是一種通用的技術，通過預先創建一定數量的線程，當有請求達到時，線程池分配一個線程提供服務，請求結束后，該線程又去服務其他請求。 通過這種方式，避免了線程和內存對象的頻繁創建和釋放，降低了服務端的并發度，減少了上下文切換和資源的競爭，提高資源利用效率。所有服務的線程池本質都是位了提高資源利用效率，并且實現方式也大體相同。本文主要說明Mysql線程池的實現原理。

　　在Mysql5.6出現以前，Mysql處理連接的方式是One-Connection-Per-Thread,即對于每一個數據庫連接，Mysql-Server都會創建一個獨立的線程服務，請求結束后，銷毀線程。再來一個連接請求，則再創建一個連接，結束后再進行銷毀。這種方式在高并發情況下，會導致線程的頻繁創建和釋放。當然，通過thread-cache，我們可以將線程緩存起來，以供下次使用，避免頻繁創建和釋放的問題，但是無法解決高連接數的問題。One-Connection-Per-Thread方式隨著連接數暴增，導致需要創建同樣多的服務線程，高并發線程意味著高的內存消耗，更多的上下文切換(cpu cache命中率降低)以及更多的資源競爭，導致服務出現抖動。相對于One-Thread-Per-Connection方式，一個線程對應一個連接，Thread-Pool實現方式中，線程處理的最小單位是statement(語句)，一個線程可以處理多個連接的請求。這樣，在保證充分利用硬件資源情況下(合理設置線程池大小)，可以避免瞬間連接數暴增導致的服務器抖動。

調度方式實現

　　Mysql-Server同時支持3種連接管理方式，包括No-Threads，One-Thread-Per-Connection和Pool-Threads。No-Threads表示處理連接使用主線程處理，不額外創建線程，這種方式主要用于調試；One-Thread-Per-Connection是線程池出現以前最常用的方式，為每一個連接創建一個線程服務；Pool-Threads則是本文所討論的線程池方式。Mysql-Server通過一組函數指針來同時支持3種連接管理方式，對于特定的方式，將函數指針設置成特定的回調函數，連接管理方式通過thread_handling參數控制，代碼如下：

　　if (thread_handling <= SCHEDULER_ONE_THREAD_PER_CONNECTION) one_thread_per_connection_scheduler(thread_scheduler, &max_connections, &connection_count);else if (thread_handling == SCHEDULER_NO_THREADS) one_thread_scheduler(thread_scheduler);else pool_of_threads_scheduler(thread_scheduler, &max_connections,&connection_count);

　　連接管理流程

　　通過poll監聽mysql端口的連接請求

　　收到連接后，調用accept接口，創建通信socket

　　初始化thd實例，vio對象等

　　根據thread_handling方式設置，初始化thd實例的scheduler函數指針

　　調用scheduler特定的add_connection函數新建連接

　　下面代碼展示了scheduler_functions模板和線程池對模板回調函數的實現，這個是多種連接管理的核心。

　　struct scheduler_functions { uint max_threads; uint *connection_count; ulong *max_connections; bool (*init)(void); bool (*init_new_connection_thread)(void); void (*add_connection)(THD *thd); void (*thd_wait_begin)(THD *thd, int wait_type); void (*thd_wait_end)(THD *thd); void (*post_kill_notification)(THD *thd); bool (*end_thread)(THD *thd, bool cache_thread); void (*end)(void);};static scheduler_functions tp_scheduler_functions= { 0, // max_threadsNULL,NULL, tp_init, // initNULL, // init_new_connection_threadtp_add_connection, // add_connectiontp_wait_begin, // thd_wait_begin tp_wait_end, // thd_wait_endtp_post_kill_notification, // post_kill_notification NULL, // end_threadtp_end // end };

線程池的相關參數

　　thread_handling:表示線程池模型。 thread_pool_size:表示線程池的group個數，一般設置為當前CPU核心數目。理想情況下，一個group一個活躍的工作線程，達到充分利用CPU的目的。 thread_pool_stall_limit:用于timer線程定期檢查group是否“停滯”，參數表示檢測的間隔。 thread_pool_idle_timeout:當一個worker空閑一段時間后會自動退出，保證線程池中的工作線程在滿足請求的情況下，保持比較低的水平。 thread_pool_oversubscribe:該參數用于控制CPU核心上“超頻”的線程數。這個參數設置值不含listen線程計數。 threadpool_high_prio_mode:表示優先隊列的模式。

　　線程池實現

　　上面描述了Mysql-Server如何管理連接，這節重點描述線程池的實現框架，以及關鍵接口。如圖1

　　每一個綠色的方框代表一個group，group數目由thread_pool_size參數決定。每個group包含一個優先隊列和普通隊列，包含一個listener線程和若干個工作線程，listener線程和worker線程可以動態轉換，worker線程數目由工作負載決定，同時受到thread_pool_oversubscribe設置影響。此外，整個線程池有一個timer線程監控group，防止group“停滯”。

關鍵接口

　　1. tp_add_connection[處理新連接]

　　1) 創建一個connection對象

　　2) 根據thread_id%group_count確定connection分配到哪個group

　　3) 將connection放進對應group的隊列

　　4) 如果當前活躍線程數為0，則創建一個工作線程

　　2. worker_main[工作線程]

　　1) 調用get_event獲取請求

　　2) 如果存在請求，則調用handle_event進行處理

　　3) 否則，表示隊列中已經沒有請求，退出結束。

　　3. get_event[獲取請求]

　　1) 獲取一個連接請求

　　2) 如果存在，則立即返回，結束

　　3) 若此時group內沒有listener，則線程轉換為listener線程，阻塞等待

　　4) 若存在listener，則將線程加入等待隊列頭部

　　5) 線程休眠指定的時間(thread_pool_idle_timeout)

　　6) 如果依然沒有被喚醒，是超時，則線程結束，結束退出

　　7) 否則，表示隊列里有連接請求到來，跳轉1

　　備注：獲取連接請求前，會判斷當前的活躍線程數是否超過了

　　thread_pool_oversubscribe+1，若超過了，則將線程進入休眠狀態。

　　4. handle_event[處理請求]

　　1) 判斷連接是否進行登錄驗證，若沒有，則進行登錄驗證

　　2) 關聯thd實例信息

　　3) 獲取網絡數據包，分析請求

　　4) 調用do_command函數循環處理請求

　　5) 獲取thd實例的套接字句柄，判斷句柄是否在epoll的監聽列表中

　　6) 若沒有，調用epoll_ctl進行關聯

　　7) 結束

　　5.listener[監聽線程]

　　1) 調用epoll_wait進行對group關聯的套接字監聽，阻塞等待

　　2) 若請求到來，從阻塞中恢復

　　3) 根據連接的優先級別，確定是放入普通隊列還是優先隊列

　　4) 判斷隊列中任務是否為空

　　5) 若隊列為空，則listener轉換為worker線程

　　6) 若group內沒有活躍線程，則喚醒一個線程

　　備注：這里epoll_wait監聽group內所有連接的套接字，然后將監聽到的連接

　　請求push到隊列，worker線程從隊列中獲取任務，然后執行。

　　6. timer_thread[監控線程]

　　1) 若沒有listener線程，并且最近沒有io_event事件

　　2) 則創建一個喚醒或創建一個工作線程

　　3) 若group最近一段時間沒有處理請求，并且隊列里面有請求，則

　　4) 表示group已經stall，則喚醒或創建線程

　　5）檢查是否有連接超時

　　備注：timer線程通過調用check_stall判斷group是否處于stall狀態，通過調用timeout_check檢查客戶端連接是否超時。

　　7.tp_wait_begin[進入等待狀態流程]

　　1) active_thread_count減1，waiting_thread_count加1

　　2）設置connection->waiting= true

　　3) 若活躍線程數為0，并且任務隊列不為空，或者沒有監聽線程，則

　　4) 喚醒或創建一個線程

　　8.tp_wait_end[結束等待狀態流程]

　　1) 設置connection的waiting狀態為false

　　2) active_thread_count加1，waiting_thread_count減1

　　備注：

　　1)waiting_threads這個list里面的線程是空閑線程，并非等待線程，所謂空閑線程是隨時可以處理任務的線程，而等待線程則是因為等待鎖，或等待io操作等無法處理任務的線程。

　　2)tp_wait_begin和tp_wait_end的主要作用是由于匯報狀態，即使更新active_thread_count和waiting_thread_count的信息。

　　9. tp_init/tp_end

　　分別調用thread_group_init和thread_group_close來初始化和銷毀線程池