來自用戶的最佳實踐分享，如何用阿里開源的Docker日誌收集工具fluentd-pilot收集機器上所有Docker應用日誌。

fluentd-pilot簡介

fluentd-pilot是阿里開源的docker日誌收集工具，Github項目地址：https://github.com/AliyunContainerService/fluentd-pilot 。你可以在每台機器上部署一個fluentd-pilot實例，就可以收集機器上所有Docker應用日誌。

fluentd-pilot 具有如下特性：

• 一個單獨的 fluentd 進程收集機器上所有容器的日誌。不需要為每個容器啟動一個 fluentd 進程。

  Advertisements

• 支持文件日誌和 stdout。docker log dirver 亦或 logspout 只能處理 stdout，fluentd-pilot 不僅支持收集 stdout 日誌，還可以收集文件日誌.

• 聲明式配置。當您的容器有日誌要收集，只要通過 label 聲明要收集的日誌文件的路徑，無需改動其他任何配置，fluentd-pilot 就會自動收集新容器的日誌。

• 支持多種日誌存儲方式。無論是強大的阿里雲日誌服務，還是比較流行的 elasticsearch 組合，甚至是 graylog，fluentd-pilot 都能把日誌投遞到正確的地點。

rancher使用fluentd-pilot收集日誌

我們既然要用fluentd-pilot，就得先把它啟動起來。還要有一個日誌系統，日誌要集中收集，必然要有一個中間服務去收集和存儲，所以要先把這種東西準備好。Rancher中我們要如何做？如圖，首先我們選擇Rancher的應用商店中的Elasticsearch和Kibana。版本沒有要求，下面使用Elasticsearch2.X和Kibana4。

其次在RancherAgent主機上面部署一個fluentd-pilot容器，然後在容器裡面啟動的時候，我們要聲明容器的日誌信息，fluentd-pilot會自動感知所有容器的配置。每次啟動容器或者刪除容器的時候，它能夠看得到，當看到容器有新容器產生之後，它就會自動給新容器按照你的配置生成對應的配置文件，然後去採集，最後採集回來的日誌同樣也會根據配置發送到後端存儲裡面去，這裡面後端主要指的elasticsearch或者是SLS這樣的系統，接下來你可以在這個系統上面用一些工具來查詢等等。

可根據實際情況，在每台Agent定義主機標籤,通過主機標籤在每台RancherAgent主機上跑一個pilot容器。用這個命令來部署，其實現在它是一個標準的Docker鏡像，內部支持一些後端存儲，可以通過環境變數來指定日誌放到哪兒去，這樣的配置方式會把所有的收集到的日誌全部都發送到elasticsearch裡面去，當然兩個掛載是需要的，因為它連接Docker，要感知到Docker裡面所有容器的變化，它要通過這種方式來訪問宿主機的一些信息。在Rancher環境下使用以下docker-compose.yml 應用---->添加應用，在可選docker-compose.yml中添加一下內容。

配置好之後啟動自己的應用（例子:tomcat），我們看應用上面要收集的日誌，我該在上面做什麼樣的聲明？關鍵的配置有兩個，一是label catalina，聲明的是要收集容器的日誌為什麼格式（標準格式等，也可以是文件。），所有的名字都可以；二是聲明access，這也是個名字，都可以用你喜歡的名字。這樣一個路徑的地址，當你通過這樣的配置來去啟動fluentd-pilot容器之後，它就能夠感覺到這樣一個容器的啟動事件，它會去看容器的配置是什麼，要收集這個目錄下面的文件日誌，然後告訴fluentd-pilot去中心配置並且去採集，這裡還需要一個卷，實際上跟Logs目錄是一致的，在容器外面實際上沒有一種通用的方式能夠獲取到容器裡面的文件，所有我們主動把目錄從宿主機上掛載進來，這樣就可以在宿主機上看到目錄下面所有的東西。

當你通過部署之後，他會自己在elasticsearch創建索引，就可以在elasticsearch的kopf上面看到會生成兩個東西，都是自動創建好的，不用管一些配置，你唯一要做的事是什麼呢？就可以在kibana上創建日誌index pattern了。然後到日誌搜索界面，可以看到從哪過來的，這條日誌的內容是什麼，這些信息都已經很快的出現了。

Lable說明

啟動tomcat的時候，我們聲明了這樣下面兩個，告訴fluentd-pilot這個容器的日誌位置。

aliyun.logs.tomcat1-access /opt/apache-tomcat-8.0.14/logs/localhost_access_log.*.txt

aliyun.logs.catalina stdout

你還可以在應用容器上添加更多的標籤

aliyun.logs.$name = $path

• 變數name是日誌名稱，具體指隨便是什麼，你高興就好。只能包含0-9a-zA-Z_和-

• 變數path是要收集的日誌路徑，必須具體到文件，不能只寫目錄。文件名部分可以使用通配符。/var/log/he.log和/var/log/*.log都是正確的值，但/var/log不行，不能只寫到目錄。stdout是一個特殊值，表示標準輸出

aliyun.logs.$name.format，日誌格式，目前支持

• none 無格式純文本

• json: json格式，每行一個完整的json字元串

• csv: csv格式

aliyun.logs.$name.tags: 上報日誌的時候，額外增加的欄位，格式為k1=v1,k2=v2，每個key-value之間使用逗號分隔，例如

• aliyun.logs.access.tags="name=hello,stage=test"，上報到存儲的日誌里就會出現name欄位和stage欄位

• 如果使用elasticsearch作為日誌存儲，target這個tag具有特殊含義，表示elasticsearch里對應的index

作者簡介

翟坤，隨行付支付有限公司資深運維工程師。

本文版權歸作者所有，轉載請後台留言。