[Fluentd] lab setup Installation fluentd
بِسْمِ اللَّهِ الرَّحْمَنِ الرَّحِيم
Overview
Halo Sobat ambyarr, di tulisan kali ini saya akan lab fluentd apa sih itu fluentd?
Fluentd adalah pengumpul log open-source yang sepenuhnya gratis dan memungkinkan kita untuk memiliki arsitektur ‘ Log di sekala sistem atau aplikasi yang kita buat ‘ dengan 125+ jenis sistem .
Fluentd membuat log sebagai JSON, format yang populer saat ini di mana dapat dibaca dengan mudah. dan fluentd Ini ditulis dengan bahasa C dengan sedikit bumbu Ruby yang memberi pengguna fleksibilitas. Skalabilitas Fluentd telah terbukti di lapangan: pengguna terbesarnya saat ini mengumpulkan log dari 50.000+ server.
Setup LAB
Node pod3-node0
- IP Address: 10.0.0.10/24
- Gateway: 10.0.0.1
- Hostname: pod3-node0
- Ubuntu 18.04(ns.1-2-10)
Node podX-node1
- IP Address: 10.X.X.20/24
- Gateway: 10.X.X.1
- Hostname: podX-node1
- Ubuntu 18.04(ns.1-2-10)
Environtment yang saya gunakan disini yaitu public cloud milik Microsoft Azure.
!! Ekseskusi di node0 !!
Install Fluentd (td-agent)
sudo apt update && sudo apt -y upgrade && sudo apt autoremove -y
sudo apt -y install chrony vim git
sudo systemctl start chronyd
sudo systemctl status chronyd
sudo chronyc sources
Increase max # of File Descriptors
ulimit -n
sudo vim /etc/security/limits.conf
#isi seperti dibawah
root soft nofile 65536
root hard nofile 65536
* soft nofile 65536
* hard nofile 65536
Reboot pod3-node0
reboot
Jalankan Service Fluentd
curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-bionic-td-agent3.sh | sh
sudo systemctl start td-agent.service
sudo systemctl status td-agent.service
Uji Coba log via HTTP
curl -X POST -d 'json={"json":"message"}' http://localhost:8888/debug.test
tail -f /var/log/td-agent/td-agent.log
hasil uji coba log
root@pod03-node0:~# curl -X POST -d 'json={"json":"message"}' http://localhost:8888/debug.test
root@pod03-node0:~# tail -f /var/log/td-agent/td-agent.log
2019-11-09 10:30:10 +0000 [warn]: #0 [output_td] secondary type should be same with primary one primary="Fluent::Plugin::TreasureDataLogOutput" secondary="Fluent::Plugin::FileOutput"
2019-11-09 10:30:10 +0000 [info]: adding match pattern="debug.**" type="stdout"
2019-11-09 10:30:10 +0000 [info]: adding source type="forward"
2019-11-09 10:30:10 +0000 [info]: adding source type="http"
2019-11-09 10:30:10 +0000 [info]: adding source type="debug_agent"
2019-11-09 10:30:10 +0000 [info]: #0 starting fluentd worker pid=9042 ppid=9033 worker=0
2019-11-09 10:30:10 +0000 [info]: #0 [input_debug_agent] listening dRuby uri="druby://127.0.0.1:24230" object="Fluent::Engine" worker=0
2019-11-09 10:30:10 +0000 [info]: #0 [input_forward] listening port port=24224 bind="0.0.0.0"
2019-11-09 10:30:10 +0000 [info]: #0 fluentd worker is now running worker=0
2019-11-09 10:32:49.258334709 +0000 debug.test: {"json":"message"}
Comments