Centralización Systemlogs [LEK]


Centralilzación Systemlogs

  • ELASTICSEARCH

  1. Descarga desde la página de Elastic

wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - echo "deb http://packages.elastic.co/elasticsearch/2.x/debian stable main" | sudo tee -a /etc/apt/sources.list.d/elasticsearch-2.x.list
  1. Configuración, sabemos que Elasticsearch requiere de Java, verificamos la version de Java y que sea complatible a las versiones que planeamos instalar de acuerdo a la tabla proporcionado en la pág. Matrix de Elasticsearch

  • cluster.name: elasticsearh_yj

 

node.name: "yj_01"

 

bootstrap.mlockall: true

 

network.host: 192.168.111.17
http.port: 9200
  1. Creación y configuración de usuario supervisor

sudo adduser supervisor --disabled-login
sudo usermod -a -G kibana supervisor
sudo usermod -a -G jenkins supervisor
sudo usermod -a -G sonar supervisor
sudo adduser elastic –disabled-login
  1. Ejecutamos el Elasticsearch

sudo -u elastic ls -la ./opt/elastic/bin/elasticsearch &

5. Verificamos que este ejecutandose como esperamos

curl -XGET localhost:9200/_cluster/health?pretty

{ “cluster_name” : “elasticsearh_amk”,

“status” : “green”,

“timed_out” : false,

“number_of_nodes” : 1,

“number_of_data_nodes” : 1,

“active_primary_shards” : 0,

“active_shards” : 0,

“relocating_shards” : 0,

“initializing_shards” : 0,

“unassigned_shards” : 0,

“delayed_unassigned_shards” : 0,

“number_of_pending_tasks” : 0,

“number_of_in_flight_fetch” : 0,

“task_max_waiting_in_queue_millis” : 0,

“active_shards_percent_as_number” : 100.0

 

  1. Configuramos el plugin Marvel, el cual provee a Dashboard para ejecutar comandos fácilmente.

wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
  1. Configuración en sudoers para usuario supervisor
supervisor ALL=(elastic) NOPASSWD:/opt/elastic/bin/elasticsearch
supervisor ALL=(kibana) NOPASSWD:/opt/kibana/bin/kibana
  1. KIBANA

  1. Creacion de usuario aplicativo kibana
 sudo adduser supervisor --disabled-login
sudo usermod -a -G kibana supervisor
sudo mkdir /opt/kibana
sudo chown -R kibana.kibana /opt/kibana
sudo chmod o+x -R /opt/elastic/
sudo chmod o+x -R /opt/jama/
sudo chmod o+x -R /opt/jenkins/
sudo chmod o+x -R /opt/kibana/
sudo chmod o+x -R /opt/marvel/
  1. Descarga de paquete
wget -qa0 https://download.elastic.co/kibana/kibana/kibana-4.4.0-linux-x64.tar.gz
tar cvxf kibana-4.4.0.tar.gz /
  1. Instalación y configuración papquete
vi /opt/kibana/config/kibana.yml 

server.host: 192.241.98.179

elasticsearch.url: “http://192.241.98.179:9200

kibana.index: “.kibana”

logging.verbose: true # Sólo para pruebas

 

  1. Habilitamos servicio kibana
sudo update-rc.d kibana defaults 96 9 

 

  1. Verificamos via web el acceso a Kibana
http://192.241.98.179:5601/app/kibana#/

kibana

 

 

 

 

 

 

 

  1. LOGSTASH

PREREQUISITOS.

Creación de usuario aplicativo logstash y filesystem

sudo adduser logstash --disabled-login
sudo usermod -a -G logstash supervisor
sudo mkdir /opt/logstash
sudo mkdir /opt/logstash/conf
sudo touch /opt/logstash/conf/logstash.conf
sudo chown -R logstash.logstash /opt/logstash

Editamos el .profile

export SINCEDB_DIR=/opt/glassfish4/glassfish/domains/domain1/logs

export PATH=$PATH:$SINCEDB_DIR

sourcce .profile
  • Instalación

echo 'deb http://packages.elasticsearch.org/logstash/2.2/debian stable main' | sudo tee /etc/apt/sources.list.d/logstash.list
sudo apt-get update
sudo apt-get install logstash
  • Configuración

input {

file {

type => “apache-access”

path => [ “/var/log/tomcat7/localhost_access_log.*” ]

}

file {

type => “glassfish-server”

path => [ “/opt/glassfish4/glassfish/domains/domain1/logs/server.log_2016*” ]

}}

filter {

if [type] == “apache-access” {

grok {

match => { “message” => “%{COMMONAPACHELOG}” }

}}

if [type] == “glassfish-server” {

grok {

match => { “message” => “\A%{GREEDYDATA}” }

}}}

output {

stdout {

codec => rubydebug

}

elasticsearch {

hosts => “192.241.98.179”

}}

  • Validación del archivo de configuración

sudo -u logstash /opt/logstash/bin/logstash -f /opt/logstash/conf/logstash.conf --configtest 

Ejecución

sudo -u logstash /opt/logstash/bin/logstash -f /opt/logstash/conf/logstash.conf & 
sudo service logstash start

El tema del archivo de configuración requiere de una sección adicional, la cual compartiré en breve.

    • REFERENCIAS

 

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s