TwoCom Online-Forum

[Adula]

Hallo,

seit einiger Zeit habe ich einen V2900VGi. Bei ihm habe ich syslog enabled. Ziel ist eine Rechner mit Suse Linux. Auf ihm läuft syslog-ng.
Die Konfiguration ist zur Zeit so eingestellt, das für jedes Log eine extra Datei geschrieben wird. logrotate übernimmt die Rotation/Kompression der alten Files, so das die Datenmenge begrenzt ist.

Ich suche nun geeignete Tools zum Auswerten der log-Files. Ich habe dabei besonders an die logs von firewall und user_access gedacht. Mich interessiert unter anderem eine Statisik der WAN-IP-Adressen mit Häufigkeit und Dauer der Verbindungen sortiert LAN-IPs. Ich habe schon überlegt ob ich die Files in meine postgreSQL-Datenbank importiere.


Hat jemand ein paar Tipps oder Erfahrungen?

Adula

[rok°!]

hast du schon was gefunden? ich suche auch so etwas...

[Adula]

Hallo,

leider gibt es keine Norm für log-files. Jede Firma baut ein eigenes Format. Deshalb ist es notwendig, eine Logfile-Analyse entsprechend zu konfigurieren. Ich habe mich mal mit AW-Stats und webalizer beschäftigt. Diese Systeme sind eigentlich für Web-Server gedacht. Bei awstats bin ich am weitesten gewesen. Aber was wirklich Gutes ist noch nicht dabei entstanden.
Systeme für Cisco-log-files habe ich auch gefunden.
Wenn ich was in den Files suche, nehme ich im Augenblick immer noch einen Texteditor. Für einen Überblick was los ist, mache ich einen Import in eine Datenbank mit Leerzeichen als Spaltentrenner.
Für weitere Informationen bin ich weiterhin dankbar.

[rok°!]

man könnte ja was http-basierendes basteln. mittels php kann man aj recht flink solche dateien auswerten. allerdings will ich nicht alleinmit der arbeit da stehen.

[Adula]

Hallo,

leider ist meine Zeit sehr beschränkt. Ich würde schon mitmachen, glaube aber keine signifikanten Anteile leisten zu können. Würde ich was anderes behaupten, ist das nicht wirklich ehrlich.

Meiner Meinung nach sollte es eine Anpassung einer bestehenden Lösung sein.

Wenn es wirklich eine Neuentwicklung ist, denke ich an eine DB-gestützte Lösung (postgreSQL oder MySQL), wobei ich mit postgreSQL etwas Erfahrung habe.
Die Darstellung der Auswertung ist als PHP-Lösung OK. Mit PHP4 habe ich bereits ein paar Kleinigkeiten realisiert.

[rok°!]

datenbankgestützt muss das imho im ersten schritt gar nicht werden.
schließlich geht es um die auswertung einer datei, die ja mittels php geparst werden kann.
schwieriger wird es dann wohl, bei der grafischen oder tabellarischen darstellung...

[Adula]

Hallo,

mich interessiert schon wer, wie oft, wohin, wie lange, wann. Mit einer Datenbank geht das recht gut. Mit einer PHP stand alone-Lösung müßte man sich das dann in Arrays beim Parsen zwischenspeichern oder in eine Datei zurückschreiben.
Die Datenbank wäre nur per SQL zu fragen.

[rok°!]

jop. genau das interessiert mich auch. doch der erste schritt wäre erst mal, das logfile in seine bestandteile aufzulösen. ich würde da sogar den anfang mal machen. allerdings brauche ich da ein wenig zuarbeit, auch von anderen, weil ich ja nur mein logfile kenne...

also meins sieht so aus:

Code: Alles auswählen

Jan 27 11:18:59 192.168.1.1 Vigor: Local User: 192.168.1.52:1320 -> 38.99.0.66:80 (TCP) close connection
Jan 27 11:19:10 192.168.1.1 Vigor: Local User: 192.168.1.64:1562 -> 216.239.59.104:80 (TCP)Web
Jan 27 11:19:20 192.168.1.1 Vigor: Local User: 192.168.1.68:1365 -> 207.68.178.16:80 (TCP)Web
Jan 27 11:19:30 192.168.1.1 Vigor: Local User: 192.168.1.54:1332 -> 84.184.4.40:46788 (TCP)
Jan 27 11:19:39 192.168.1.1 Vigor: Local User: 192.168.1.64:1578 -> 66.235.211.131:80 (TCP)Web

(geloggt per syslog)

wäre cool, wenn noch ein paar andere ihre auszüge hier posten könnten.

[Adula]

Hallo,

hier ein paar Beispiele aus local2 (user access)

Code: Alles auswählen


Jan 28 07:22:35 192.168.115.63 Vigor: [WEB]IP Filter/Firewall Setup> Content Filter Setup
Jan 27 10:43:37 192.168.115.63 Vigor: Local User: 192.168.115.43 -> 20.15.69.85 (ICMP) Echo
Jan 27 10:43:36 192.168.115.63 Vigor: Local User: 20.13.71.9 -> 192.168.115.4 (ICMP) Time Exceeded
Jan 25 21:45:29 192.168.115.63 Vigor: Local User: 192.168.115.6 -> 217.37.151.33 (ICMP) Destination Unreachable
Jan 25 21:49:23 192.168.115.63 Vigor: Local User: 192.168.115.42 DNS -> 217.237.151.33 inquire au.download.windowsupdate.com
Jan 25 21:50:44 192.168.115.63 Vigor: Local User: 192.168.115.42 DNS -> 217.237.151.33 inquire wpad
Jan 25 21:51:41 192.168.115.63 Vigor: Local User: 192.168.115.3:189 -> 66.13.203.191:21 (TCP) close connection
Jan 25 21:55:30 192.168.115.63 Vigor: Open port: 217.237.15.33:53 -> 192.168.115.6:3456 (UDP)
Jan 25 21:58:21 192.168.115.63 Vigor: Local User: 192.168.115.46:195 -> 216.7.87.61:80 (TCP)Web
Jan 25 21:58:21 192.168.115.63 Vigor: Local User: 192.168.115.46:119 -> 216.7.87.63:80 (TCP) close connection
Jan 25 22:32:46 192.168.115.63 Vigor: Local User: 192.168.115.3:170 -> 66.13.203.191:443 (TCP).
Jan 25 22:32:47 192.168.115.63 Vigor: Local User: 192.168.115.3:101 -> 66.13.203.191:443 (TCP) close connection
Jan 25 23:33:53 192.168.115.63 Vigor: Open port: 217.83.46.14:6927 -> 192.168.115.6:658 (TCP).. 
Jan 26 18:38:05 192.168.115.63 Vigor: Local User: 192.168.115.9:116 -> 19.25.13.97:110 (TCP)POP3
Jan 27 01:00:28 192.168.115.63 Vigor: Local User: 192.168.115.5 DNS -> 21.23.15.33 inquire 66.19.152.134
Jan 27 18:17:48 192.168.115.63 Vigor: Local User: 192.168.115.43:243 -> 85.16.181.19:404 (UDP)


Adula

[Adula]

Hallo,

prinzipiell besteht das Problem, das der Aufbau und das Schliessen der Verbindung in verschiedenen Zeilen steht.

Ein ähnliches Problem besteht auch bei Mailserver-Logs. Bei awstats wurde ein Perl-Script genutzt um diese Informationen in einer Zeile zusammenzuführen. (maillogconvert.pl)

Wünschenswert ist auch ein nslookup für IP-Adressen die nicht vorher aufgelöst wurden.

Übrigends zur graphischen Darstellung ist jpgraph bestens geeignet. (Ich spreche aus eigener Erfahrung.)

[rok°!]

jo. aber bevor ich losfahre, muss ich erst mal das rad erfinden

also, fangen wir beim urschleim an. welche werte befinden sich im log?

Code: Alles auswählen

timestamp | router-ip | router-message | interne ip:port | externe ip:port | portbeschreibung

korregiere mich, sollte ich was vergessen haben, oder die beschreibung falsch sein.

[Adula]

generell gilt:

timestamp | router-ip | log_message



log_message Typ1(DNS-Anfrage)

Vigor: Local User: | interne ip DNS| verwendeter DNS-Server | inquire | aufzulösender Name

unklar ist für mich noch

inquire 66.19.152.134

log_message Typ2(Filter hat Treffer)

z.B.
Vigor: [WEB]IP Filter/Firewall Setup> Content Filter Setup



log_message Typ3(Verbindungsinfo)

router-message | interne ip:port | externe ip:port | (Protokoll)opt_named_ext_port opt_message

als router-message habe ich 2 Arten gefunden: Vigor: Open port:, Vigor: Local User:
als Protokoll:ICMP, TCP, UDP
als opt_named_ext_port(optionaler Name des externen Ports) habe ich bisher: Web, POP3, ., ..
als opt_message: close connection (bei TCP,UDP); Destination Unreachable, Echo, Time Exceeded (bei ICMP)


Ich denke das ist längst noch nicht alles.

[rok°!]

so, der erste schritt ist getan, würde ich sagen

http://vrlfa.maennchen1.de/

hier könnt ihr mal testen, ob die analyse klappt.
ausgewertet werden zunächst nur anfragen auf dem externen port 80.

mir geht es jetzt darum, ob mein tool erst mal mit den verschiedenen logfiles von euch klar kommt. also probiert es bitte mal aus und gebt mir bescheid. weil dann kann ich auch weiter dran arbeiten.

achtung: um den traffic niedrig zu halten, habe ich die logfilegröße auf 10kb begrenzt (dürfte so um die 100 zeilen im logfile sein). davon werden 50 zeilen der anfragen auf port 80 ausgewertet.