Tools zur Logfile-Analyse

SNMP, Telnet, Syslog, Statustools, RTools, ...

Moderatoren: TommyTC, alf, Petrus, andreastc, DSL-Hexe, nobody

Tools zur Logfile-Analyse

Beitragvon Adula » Do 13.10.2005 - 21:54

Hallo,

seit einiger Zeit habe ich einen V2900VGi. Bei ihm habe ich syslog enabled. Ziel ist eine Rechner mit Suse Linux. Auf ihm läuft syslog-ng.
Die Konfiguration ist zur Zeit so eingestellt, das für jedes Log eine extra Datei geschrieben wird. logrotate übernimmt die Rotation/Kompression der alten Files, so das die Datenmenge begrenzt ist.

Ich suche nun geeignete Tools zum Auswerten der log-Files. Ich habe dabei besonders an die logs von firewall und user_access gedacht. Mich interessiert unter anderem eine Statisik der WAN-IP-Adressen mit Häufigkeit und Dauer der Verbindungen sortiert LAN-IPs. Ich habe schon überlegt ob ich die Files in meine postgreSQL-Datenbank importiere.


Hat jemand ein paar Tipps oder Erfahrungen?

Adula
Benutzeravatar
Adula
Ambitionierter User
 
Beiträge: 38
Registriert: Sa 13.08.2005 - 06:33
Wohnort: Berlin

Beitragvon rok°! » Fr 27.01.2006 - 11:51

hast du schon was gefunden? ich suche auch so etwas... :?
rok°!
User
 
Beiträge: 29
Registriert: Do 27.01.2005 - 09:14

Log-files

Beitragvon Adula » Sa 28.01.2006 - 06:49

Hallo,

leider gibt es keine Norm für log-files. Jede Firma baut ein eigenes Format. Deshalb ist es notwendig, eine Logfile-Analyse entsprechend zu konfigurieren. Ich habe mich mal mit AW-Stats und webalizer beschäftigt. Diese Systeme sind eigentlich für Web-Server gedacht. Bei awstats bin ich am weitesten gewesen. Aber was wirklich Gutes ist noch nicht dabei entstanden.
Systeme für Cisco-log-files habe ich auch gefunden.
Wenn ich was in den Files suche, nehme ich im Augenblick immer noch einen Texteditor. Für einen Überblick was los ist, mache ich einen Import in eine Datenbank mit Leerzeichen als Spaltentrenner.
Für weitere Informationen bin ich weiterhin dankbar.
Adula

DSL: T-DSL 2000
Provider: T-Online
VoIP: T-Online
Router: V2900VGi Rev 2
Betriebssytem: Linux/Windows
Benutzeravatar
Adula
Ambitionierter User
 
Beiträge: 38
Registriert: Sa 13.08.2005 - 06:33
Wohnort: Berlin

Beitragvon rok°! » Sa 28.01.2006 - 09:01

man könnte ja was http-basierendes basteln. mittels php kann man aj recht flink solche dateien auswerten. allerdings will ich nicht alleinmit der arbeit da stehen. :roll:
rok°!
User
 
Beiträge: 29
Registriert: Do 27.01.2005 - 09:14

Tools zur Log-File-Analyse

Beitragvon Adula » Sa 28.01.2006 - 15:06

Hallo,

leider ist meine Zeit sehr beschränkt. Ich würde schon mitmachen, glaube aber keine signifikanten Anteile leisten zu können. Würde ich was anderes behaupten, ist das nicht wirklich ehrlich.

Meiner Meinung nach sollte es eine Anpassung einer bestehenden Lösung sein.

Wenn es wirklich eine Neuentwicklung ist, denke ich an eine DB-gestützte Lösung (postgreSQL oder MySQL), wobei ich mit postgreSQL etwas Erfahrung habe.
Die Darstellung der Auswertung ist als PHP-Lösung OK. Mit PHP4 habe ich bereits ein paar Kleinigkeiten realisiert.
Adula

DSL: T-DSL 2000
Provider: T-Online
VoIP: T-Online
Router: V2900VGi Rev 2
Betriebssytem: Linux/Windows
Benutzeravatar
Adula
Ambitionierter User
 
Beiträge: 38
Registriert: Sa 13.08.2005 - 06:33
Wohnort: Berlin

Beitragvon rok°! » Sa 28.01.2006 - 15:13

datenbankgestützt muss das imho im ersten schritt gar nicht werden.
schließlich geht es um die auswertung einer datei, die ja mittels php geparst werden kann.
schwieriger wird es dann wohl, bei der grafischen oder tabellarischen darstellung...
rok°!
User
 
Beiträge: 29
Registriert: Do 27.01.2005 - 09:14

Beitragvon Adula » Sa 28.01.2006 - 15:39

Hallo,

mich interessiert schon wer, wie oft, wohin, wie lange, wann. Mit einer Datenbank geht das recht gut. Mit einer PHP stand alone-Lösung müßte man sich das dann in Arrays beim Parsen zwischenspeichern oder in eine Datei zurückschreiben.
Die Datenbank wäre nur per SQL zu fragen.
Adula

DSL: T-DSL 2000
Provider: T-Online
VoIP: T-Online
Router: V2900VGi Rev 2
Betriebssytem: Linux/Windows
Benutzeravatar
Adula
Ambitionierter User
 
Beiträge: 38
Registriert: Sa 13.08.2005 - 06:33
Wohnort: Berlin

Beitragvon rok°! » Sa 28.01.2006 - 15:44

jop. genau das interessiert mich auch. doch der erste schritt wäre erst mal, das logfile in seine bestandteile aufzulösen. ich würde da sogar den anfang mal machen. allerdings brauche ich da ein wenig zuarbeit, auch von anderen, weil ich ja nur mein logfile kenne...

also meins sieht so aus:
Code: Alles auswählen
Jan 27 11:18:59 192.168.1.1 Vigor: Local User: 192.168.1.52:1320 -> 38.99.0.66:80 (TCP) close connection
Jan 27 11:19:10 192.168.1.1 Vigor: Local User: 192.168.1.64:1562 -> 216.239.59.104:80 (TCP)Web
Jan 27 11:19:20 192.168.1.1 Vigor: Local User: 192.168.1.68:1365 -> 207.68.178.16:80 (TCP)Web
Jan 27 11:19:30 192.168.1.1 Vigor: Local User: 192.168.1.54:1332 -> 84.184.4.40:46788 (TCP)
Jan 27 11:19:39 192.168.1.1 Vigor: Local User: 192.168.1.64:1578 -> 66.235.211.131:80 (TCP)Web
(geloggt per syslog)

wäre cool, wenn noch ein paar andere ihre auszüge hier posten könnten.
rok°!
User
 
Beiträge: 29
Registriert: Do 27.01.2005 - 09:14

Beitragvon Adula » Sa 28.01.2006 - 16:46

Hallo,

hier ein paar Beispiele aus local2 (user access)

Code: Alles auswählen
 
Jan 28 07:22:35 192.168.115.63 Vigor: [WEB]IP Filter/Firewall Setup> Content Filter Setup
Jan 27 10:43:37 192.168.115.63 Vigor: Local User: 192.168.115.43 -> 20.15.69.85 (ICMP) Echo
Jan 27 10:43:36 192.168.115.63 Vigor: Local User: 20.13.71.9 -> 192.168.115.4 (ICMP) Time Exceeded
Jan 25 21:45:29 192.168.115.63 Vigor: Local User: 192.168.115.6 -> 217.37.151.33 (ICMP) Destination Unreachable
Jan 25 21:49:23 192.168.115.63 Vigor: Local User: 192.168.115.42 DNS -> 217.237.151.33 inquire au.download.windowsupdate.com
Jan 25 21:50:44 192.168.115.63 Vigor: Local User: 192.168.115.42 DNS -> 217.237.151.33 inquire wpad
Jan 25 21:51:41 192.168.115.63 Vigor: Local User: 192.168.115.3:189 -> 66.13.203.191:21 (TCP) close connection
Jan 25 21:55:30 192.168.115.63 Vigor: Open port: 217.237.15.33:53 -> 192.168.115.6:3456 (UDP)
Jan 25 21:58:21 192.168.115.63 Vigor: Local User: 192.168.115.46:195 -> 216.7.87.61:80 (TCP)Web
Jan 25 21:58:21 192.168.115.63 Vigor: Local User: 192.168.115.46:119 -> 216.7.87.63:80 (TCP) close connection
Jan 25 22:32:46 192.168.115.63 Vigor: Local User: 192.168.115.3:170 -> 66.13.203.191:443 (TCP).
Jan 25 22:32:47 192.168.115.63 Vigor: Local User: 192.168.115.3:101 -> 66.13.203.191:443 (TCP) close connection
Jan 25 23:33:53 192.168.115.63 Vigor: Open port: 217.83.46.14:6927 -> 192.168.115.6:658 (TCP).. 
Jan 26 18:38:05 192.168.115.63 Vigor: Local User: 192.168.115.9:116 -> 19.25.13.97:110 (TCP)POP3
Jan 27 01:00:28 192.168.115.63 Vigor: Local User: 192.168.115.5 DNS -> 21.23.15.33 inquire 66.19.152.134
Jan 27 18:17:48 192.168.115.63 Vigor: Local User: 192.168.115.43:243 -> 85.16.181.19:404 (UDP)


Adula
Zuletzt geändert von Adula am Sa 28.01.2006 - 18:17, insgesamt 2-mal geändert.
Adula

DSL: T-DSL 2000
Provider: T-Online
VoIP: T-Online
Router: V2900VGi Rev 2
Betriebssytem: Linux/Windows
Benutzeravatar
Adula
Ambitionierter User
 
Beiträge: 38
Registriert: Sa 13.08.2005 - 06:33
Wohnort: Berlin

Beitragvon Adula » Sa 28.01.2006 - 17:20

Hallo,

prinzipiell besteht das Problem, das der Aufbau und das Schliessen der Verbindung in verschiedenen Zeilen steht.

Ein ähnliches Problem besteht auch bei Mailserver-Logs. Bei awstats wurde ein Perl-Script genutzt um diese Informationen in einer Zeile zusammenzuführen. (maillogconvert.pl)

Wünschenswert ist auch ein nslookup für IP-Adressen die nicht vorher aufgelöst wurden.

Übrigends zur graphischen Darstellung ist jpgraph bestens geeignet. (Ich spreche aus eigener Erfahrung.)
Adula

DSL: T-DSL 2000
Provider: T-Online
VoIP: T-Online
Router: V2900VGi Rev 2
Betriebssytem: Linux/Windows
Benutzeravatar
Adula
Ambitionierter User
 
Beiträge: 38
Registriert: Sa 13.08.2005 - 06:33
Wohnort: Berlin

Beitragvon rok°! » Sa 28.01.2006 - 17:31

jo. aber bevor ich losfahre, muss ich erst mal das rad erfinden ;)

also, fangen wir beim urschleim an. welche werte befinden sich im log?

Code: Alles auswählen
timestamp | router-ip | router-message | interne ip:port | externe ip:port | portbeschreibung

korregiere mich, sollte ich was vergessen haben, oder die beschreibung falsch sein.
rok°!
User
 
Beiträge: 29
Registriert: Do 27.01.2005 - 09:14

Beitragvon Adula » Sa 28.01.2006 - 17:54

generell gilt:

timestamp | router-ip | log_message



log_message Typ1(DNS-Anfrage)

Vigor: Local User: | interne ip DNS| verwendeter DNS-Server | inquire | aufzulösender Name

unklar ist für mich noch
inquire 66.19.152.134




log_message Typ2(Filter hat Treffer)

z.B.
Vigor: [WEB]IP Filter/Firewall Setup> Content Filter Setup



log_message Typ3(Verbindungsinfo)

router-message | interne ip:port | externe ip:port | (Protokoll)opt_named_ext_port opt_message

als router-message habe ich 2 Arten gefunden: Vigor: Open port:, Vigor: Local User:
als Protokoll:ICMP, TCP, UDP
als opt_named_ext_port(optionaler Name des externen Ports) habe ich bisher: Web, POP3, ., ..
als opt_message: close connection (bei TCP,UDP); Destination Unreachable, Echo, Time Exceeded (bei ICMP)


Ich denke das ist längst noch nicht alles.
Adula

DSL: T-DSL 2000
Provider: T-Online
VoIP: T-Online
Router: V2900VGi Rev 2
Betriebssytem: Linux/Windows
Benutzeravatar
Adula
Ambitionierter User
 
Beiträge: 38
Registriert: Sa 13.08.2005 - 06:33
Wohnort: Berlin

Beitragvon rok°! » So 29.01.2006 - 15:28

so, der erste schritt ist getan, würde ich sagen :)

http://vrlfa.maennchen1.de/

hier könnt ihr mal testen, ob die analyse klappt.
ausgewertet werden zunächst nur anfragen auf dem externen port 80.

mir geht es jetzt darum, ob mein tool erst mal mit den verschiedenen logfiles von euch klar kommt. also probiert es bitte mal aus und gebt mir bescheid. weil dann kann ich auch weiter dran arbeiten.

achtung: um den traffic niedrig zu halten, habe ich die logfilegröße auf 10kb begrenzt (dürfte so um die 100 zeilen im logfile sein). davon werden 50 zeilen der anfragen auf port 80 ausgewertet.
rok°!
User
 
Beiträge: 29
Registriert: Do 27.01.2005 - 09:14


Zurück zu Tools und Fernwartung

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 0 Gäste