Technische Infrastruktur: Unterschied zwischen den Versionen

Zeile 75: Zeile 75:
  
 
==Logging==
 
==Logging==
Logging wird vorzugsweise über [http://de.wikipedia.org/wiki/Syslog syslog], konkret [http://de.wikipedia.org/wiki/Syslog-ng syslog-ng], abgehandelt. Die Konfiguration dafür befindet sich unter ''/etc/syslog-ng/syslog-ng.conf''. Es werden prinzipiell alle Daemons  (und sonstige Prozesse) in eigen Dateien aufgeteilt. Diese werden Täglich von syslog-ng rotiert. Eine logging Datei sieht dann ungefähr so aus: myprogram-2012-12-21. Alle Logging Dateien befinden sich unter ''/var/log''. Wöchentlich werden logging-Dateien von logrotate archiviert. Die Config ist ''/etc/logrotate.conf''. Default Logfile ist ''/var/log/messages''
+
Logging wird vorzugsweise über [http://de.wikipedia.org/wiki/Syslog syslog], konkret [http://de.wikipedia.org/wiki/Syslog-ng syslog-ng], abgehandelt. Die Konfiguration dafür befindet sich unter ''/etc/syslog-ng/syslog-ng.conf''. Es werden prinzipiell alle Daemons (und sonstige Prozesse) in eigenen Dateien aufgeteilt. Diese werden Täglich von syslog-ng rotiert. Eine logging Datei sieht dann ungefähr so aus: myprogram-2012-12-21. Alle Logging Dateien befinden sich unter ''/var/log''. Wöchentlich werden logging-Dateien von logrotate archiviert. Die Config ist ''/etc/logrotate.conf''. Default Logfile ist ''/var/log/messages''
  
 
==Backup==
 
==Backup==

Version vom 12. Oktober 2012, 01:21 Uhr

Crystal Clear action run.png
Techn. Infrastruktur

Status: stable

Rack inhouse cat.jpg
Beschreibung Gesamte technische Infrastruktur.
Autor: bobapple
PayPal Spenden für Technische Infrastruktur

Die folgende Dokumentation dient zum einen dazu, interessierten die technischen Gegebenheiten des backspace näher zu bringen, zum anderen um zukünftigen Admins des backspace einen einfachen Einstieg zu ermöglichen. Im weiteren werden die Strukturen in outer und in-house eingeteilt. Versionen werden nicht näher erläutert, da sie sich im Laufe der Zeit ändern werden.

Outer

Unter der outer Struktur versteht sich alles was öffentlich immer erreichbar ist, z. B. Webseite, Pad, Gallery etc. Die genutzte Software läuft auf einer virtuellen Maschine. Die Virtualisierung ist mit Hilfe von KVM/Qemu realisiert. Auf der VM, die den Hostnamen ruby trägt, ist Fedora installiert. Alles was unter dem Punkt Outer genannt wird, läuft auf dieser Maschine.

Webserver

Als Webserver kommt Apache zum Einsatz. Er wurde selbst kompiliert und die jeweiligen Sourcen der befinden sich unter /usr/local/src/apache. Das Stammverzeichnis des apache ist /usr/local/apache2

Die Konfiguration befindet sich im Verzeichnis /etc/apache. Wobei hier die einzelnen vHosts jeweils eine eigene Datei im Verzeichnis /etc/apache/vhosts besitzen. Aktiviert werden vHosts durch ein Include in der Datei /etc/apache/vhosts_enabled. Wir bieten auch diverse Webseiten via SSL an. Die dazu gehörigen Zertifikate befinden sich im Verzeichnis /etc/ssl/hackerspace-bamberg.de.

Der Webserver unterstützt PHP. Dafür wird das das Modul der jeweiligen Version kompiliert und in der apache-config eingebunden. Die PHP-Sourcen befinden sich im Verzeichnis /usr/local/src/php. Die PHP-Konfigurationsdatei befindet sich in /etc/php/php.ini. In dieser wird auch das APC-Modul aktiviert, welches ebenfalls selbst kompiliert wurde (/usr/local/src/php-apc). PHP-Module werden unter /usr/local/php/modules abgelegt.

Das DocumentRoot befindet sich in /web, und für Gewohnheitstiere existiert ein symbolischer Link ist auf /var/www. Hier befinden sich auch die einzelnen DocumentRoots der vHosts. Wir bieten folgende Webseiten an:

Um eine gewisse Struktur im DocumentRoot herzustellen, wird für jeden vHost ein eigenes Unterverzeichnis angelegt. 

SSL

Wie bereits erwähnt werden diverse Seiten auch via SSL ausgeliefert. Für die Kommunikation zum Mailserver wird ebenfalls SSL genutzt. Die dafür benötigten Zertifikate sind Class 1 Zertifikate die wir von startssl.com erhalten. Es können keine Wildcard Zertifikate erstellt werden und die Gültigkeitsdauer beläuft sich auf 1 Jahr. Zur Authentifizierung auf startssl.com wird ein im Browser hinterlegtes Authentifizierungszertifikat verlangt, das man bei der Anmeldung erhalten hat. Derzeit kann nur bobapple neue Zertifiakte erstellen. Eine neue Validierung der Domains hackerspace-bamberg.de und bckspc.de ist möglich.

Website

Unter dem Projektname Kiwi ist im August 2012 die neue Webseite online gegangen. schinken und bobapple hatten es sich zur Aufgabe gemacht den Internetauftritt des backspace zu verschönern. In einem ca. 3 Wöchigen Marathon wurde die Seite neue Designed, Strukturiert und Erweitert. 

Die Seite nutzt Intern ein normales Mediawiki. Das Template wurde selbst erstellt. Um Projekte automatisch strukturiert darzustellen wurde die Mediawiki-Extension ShoogleList erstellt. Zusätzlich erhält jedes Projekt auch eine Infobox mit diversen Informationen. Shoogle-List bezieht viele seiner Informationen aus der Infobox. Neu eingeführt wurde auch der Blog, der aus einer Mediawiki Extension entsteht.

Die Sourcen liegen im Verzeichnis /web/www.hackerspace-bamberg.de/wiki. Die jeweils aktuelle Version wird symbolisch verlinkt, so dass bei Updates keine Änderung des DocumentRoots nötig ist.

Etherpad-Lite

Um den Mitgliedern die Möglichkeit zu bieten, gemeinsam an Dokumenten zu arbeiten, ohne diese Dokumente bei Drittanbietern zu hosten, betreiben wir eine eigene Etherpad-Lite-Instanz. 

Die dazu benötigten Dateien liegen im Verzeichnis /usr/local/etherpad-lite. Gestartet/Gestoppt wird das Pad mittels systemctl <start|stop|restart> etherpad-lite.service. Da systemd zu diesem Zeitpunkt noch nicht unterstützt wird, wurde eine eigene Datei erstellt, welche sich unter /etc/systemd/system/etherpad-lite.service befindet. Gespeichert werden die Pads in einer eigenen MySQL-Datenbank.

MySQL

Um z. B. Mediawiki oder Etherpad-Lite Datenbanken bieten zu können, wird MySQL benutzt. Die Datenbanken werden unter /usr/local/mysql_data gespeichert. Das Stammverzeichnis ist /usr/local/mysql. Installiert wurde der Server mittels vorkompilierter Dateien. Die Sourcen befinden sich unter /usr/local/src/mysql. Es wird immer zur aktuellen Version gelinkt (/usr/local/mysql -> /usr/local/src/mysql/mysql-<version>). Die Konfiguration des MySQL-Servers und -Clients befindet sich in der Datei /etc/my.cnf. Um das Arbeiten auf der Konsole zu erleichtern, wurden einige MySQL-Tools (mysqladmin, mysqldump, ...) nach /usr/local/bin verlinkt.

Gallery

Die Gallery, welche unter gallery.hackerspace-bamberg.de erreichbar ist, wird mit Hilfe von $Software realisiert. Sie speichert Bilder in verschiedenen Größen ab. Userdaten, Beschreibungen etc. werden in einer eigenen MySQL-Datenbank abgelegt.


Mail

Eingehende Mail

Die Domain für den Mailserver (eingehen+ausgehend) ist mail.hackerspace-bamberg.de. Auf diesem Server werden alle E-Mail-Adressen der Domains hackerspace-bamberg.de und bckspc.de behandelt. Für bckspc.de werden prinzipiell nur Weiterleitungen angeboten. Die nötigen Verbindungsoptionen werden über eine XML-Datei bekannt gegeben. Sie ist unter [autoconfig.hackerspace-bamberg.de/mail/config-v1.1.xml] erreichbar und wird von vielen Mailclients automatisch abgefragt.

Um uns für die Zukunft weite Möglichkeiten offen zu halten, kommen nur virtuelle Domains zum Einsatz. Die Mailboxes der einzelnen User befinden sich in /var/spool/vmail/<domain>/<username>. Die jeweiligen Verzeichnisse haben alle den jeweiligen User als Besitzer und gehören der Gruppe vmail. Unpriviligierte Systemuser können keine Mails anderer User lesen. Das Zertifikat für MTA und MDA ist /etc/ssl/hackerspace-bamberg.de/mail.hackerspace-bamberg.de.pem.

Als MTA wird Postfix benutzt. Die jeweiligen Konfigurationsdateien beifinden in /etc/postfix. Die Authentifizierung der Benutzer läuft prinzipiell über SASL, welches von dovecot angeboten wird. Der Login ist nur über SSL (TLS) möglich.

Als MDA kommt dovecot zum Einsatz. Auch hier ist der Login nur via SSL möglich. Dovecot stellt virtuelle User  auch für Postfix bereit (SASL). Sie werden derzeit in einer passwd-Datei verwaltet. Die Passörter sind, bedingt durch den vorher genutzten Mailserver, Salted SHA1 verschlüsselt gespeichert. Neue/geängerte Passwörter werden in mittels SSHA512 abgelegt. In der Zukunft sollen User mit einem OpenLDAP-Server verwaltet werden.  Zum Empfangen von E-Mails bieten wir nur IMAP an. Als Gimmick wird sieve angeboten. Realisiert ist das über dovecots LMTP-Funktion, die die Sieve-Scripte verarbeitet. Das managesieve-plugin ermöglicht dem Benutzer das Verwaltung seiner Scripte. Es können auch globale Sieve-Scripte auf dem Server hinterlegt werden. Das wird bespielsweise dazu benutzt, um Mails mit dem "X-Spam-Flag" automatisch in einen vorher automatisch generierten "Spam"-Ordner zu hinterlegen.

Um Spam und Viren entgegen zu wirken wird amavisd-new (/etc/amavisd/amavisd.conf) in Verbindung mit Spamassassin (/etc/mail/spamassassin) und ClamAV (/etc/clamd.d/amavisd.conf) genutzt. Es werden allerdings niemals Mails automatisiert verworfen. Sie werden lediglich durch das "X-Spam-Flag" und ein hinzufügen von "[Spam]" im Betreff markiert. So können die User selbst entscheiden was mit den Mails passiert. Weiterhin setzen wir greylisting ein. Konkret sqlgrey (/etc/sqlgrey) mit einem reconnect delay von lediglich 2 Minuten. Die Daten zu white-/blacklists werden in einer eigenen MySQL-Datenbank gespeichert. Unter autoconfig.hackerspace-bamberg.de/sgwi ist ein kleines Webinterface installiert, das die Einsicht in die Listen von sqlgrey ermöglicht. Die postfix Konfiguration bietet auch einige sender und recipient restrictions wie invalid hostname etc.

Mailinglisten

Wir verwenden Mailinglisten für verschiedene Dinge. Die drei wichtigsten Listen sind hier gelistet: https://lists.hackerspace-bamberg.de/mailman/listinfo Welche wofür ist, kann dem Namen der jeweiligen Liste entnommen werden. Zusätzlich gibt es noch eine vorstands-Mailingliste (vorstand@hackerspace-bamberg.de) und eine techinfra@Mailingliste (techinfra@hackerspace-bamberg.de) in der sich nur bestimmte Leute befinden. 

Realisiert werden die Listen mit Mailman. Die Software wurde selbst kompiliert, daher befinden sich die Sourcen unter /usr/local/src/mailman. Alle Archive, Konfigurationsdateien, Tools, etc. befinden sich unter /usr/local/mailman. Es wird nur eine Domain für alle Listen benutzt, diese ist: lists.hackerspace-bamberg.de.

Logging

Logging wird vorzugsweise über syslog, konkret syslog-ng, abgehandelt. Die Konfiguration dafür befindet sich unter /etc/syslog-ng/syslog-ng.conf. Es werden prinzipiell alle Daemons (und sonstige Prozesse) in eigenen Dateien aufgeteilt. Diese werden Täglich von syslog-ng rotiert. Eine logging Datei sieht dann ungefähr so aus: myprogram-2012-12-21. Alle Logging Dateien befinden sich unter /var/log. Wöchentlich werden logging-Dateien von logrotate archiviert. Die Config ist /etc/logrotate.conf. Default Logfile ist /var/log/messages

Backup

Es werden folgende Verzeichnisse gesichert:

  • /home
  • /etc
  • /usr/local
  • /var/spool/vmail

Zusätzlich wird jeden Tag von allen MySQL-Datenbanken (auser sqlgrey) ein Dump gezogen und in /usr/local/mysql_backup gelegt. Dumps die älter als 30 Tage sind, werden gelöscht. Das Backup der Verzeichnisse erfolgt mittels duplicity auf einen externen FTP-Server. Am 1. des Monats wird ein Full-Backup gemacht, die restliche Zeit incremental. Backups älter 30 Tage werden gelöscht.

https://github.com/bobapple/backup-scripts/tree/master/backup-duplicity

In-House

Dieser Punkt beschreibt die technischen Gegebenheiten in den Räumen des backspace selbst.

Rack

Rack im backspace

Server, Router, Switches stehen in einem 19" Rack im Durchgang zu den Toiletten. Bevorzugt werden hier zum bestücken [Wannen] genutzt.














Netzwerkstruktur

Patchfeld zu Switch

Die in-house Netzwerkstruktur teilt sich in zwei Netze auf: intern und extern. Bemerkbar ist das prinzipiell nur darin, das von dem extern-Netz nicht auf unsere in-house Server zugegriffen werden kann. Gästen soll aber trotzdem die Möglichkeit geboten werden Internet zu nutzen. Daher das eigene extern Netz.

  • intern: 10.1.20.0/24 (dhcp: 150-254)
  • extern: 10.13.37.0/24 (dhcp: 1-254)





WLAN

WLAN wird auf verschiedenen Arten angeboten.

  • backspace.int 2.4 GHz
  • backspace.int 5.0 GHz
  • backspace.ext 2.4 GHz
  • backspace.ext 5.0 GHz

Mitglieder und Gäste bekommen Passwörter vor Ort von andern Mitgliedern. Zugangsdaten ändern sich im laufe der Zeit in regelmäßigen Abständen.

LAN

In unseren Räumen sind auch an vielen Stellen auch LAN-Kabel verlegt. Im Hinterraum sind im Tisch mehrere Netzwerkdosen eingelassen. Die Lounge besitzt eine eigene Netzwerkdose. Ebenfalls der CNC-Raum und die Werkstatt. Lediglich die Küche und die Toilette sind nicht via LAN angeschlossen.

Switch

Die Kabel des Patch-Feldes führen in einen HP 1800-24G J9028B verwendet. Der Switch ist managebar und besitzt ein Webinterface welches unter http://10.1.20.50 aus dem internen Netz erreichbar ist.

Router

Netgear Router mit Antennen-mod

Als Router wird ein Netgear WNDR3700 mit OpenWrt Backfire 10.03.1 betrieben. Der Router ist oberhalb vom Rack montiert. Alle Trennungen der Netzwerke und jegliches Port-Forwarding werden hierüber realisiert. Die IP des Router ist 10.1.20.1 aus dem internen Netz und 10.13.37.1 aus dem externen Netz. Der Router ist per SSH erreichbar und besitzt ein Webinterface zur Konfiguration und installation neuer Pakete. Am Router wurden die internen Antennen durch stärker externe ausgetauscht.






Server

Server inhouse

Zur realisierung verschiedener Dienste wird ein Server mit diversen VMs genutzt. Sowohl auf dem Host-System, als auch auf den VMs ist derzeit Debian in Betrieb.

Serverinfo
  • Chassis Type: Desktop
  • Mainboard: ASUSTeK Computer INC. P5Q-PRO
  • Intel(R) Core(TM)2 Duo CPU E8400 (1 CPU; 2 Kerne; 3000MHz pro Kern)
  • 8GB RAM (4 Sockets insgesamt)
  • 4 x PCIE; 2 x PCI
  • 2 x 1GB NIC
  • HDD: 1 x 750GB; 1 x 500GB; 1 x 250GB; 1 x 400 GB

Die einzelnen Virtuellen Maschinen benutzen je nach Zweck LVM oder qcow Files zum speichern ihrer Daten. Jede der Maschinen hat besitzt einen einfach zu merkenden und leicht zu tippenden Hostnamen.

Im folgenden werden alle derzeitigen VMs aufgelistet:

nyancat

IP Dienste Beschreibung
10.1.20.2 KVM/Qemu, Backup Stellt VMs zur Verfügung und mach Backups.

Das backup-script wird auf github zur Verfügung gestellt: https://github.com/bobapple/backup-scripts/tree/master/backup-rsync

rose

IP Dienste Beschreibung
10.1.20.3 git, trac, irc-bot Steht jedem Mitglied als test-Maschine zur Verfügung.


violet

IP Dienste Beschreibung
10.1.20.4 Apache, MySQL, Cacti Alles was produktiv genutzt wird. MAC-zu-Nick Datenbank für Anwesenheitsstatistiken und Open/Close_Anzeiger, Benutzerdatenbank für Spaceportal, Kassensystem, Webinterface für MPD (Pitchfork), System-Statistiken aller Server, Statistiken anwesender Mitglieder

fiona

IP Dienste Beschreibung
10.1.20.5 NFS, Samba, FTP, OpenVPN, MPD Es werden mehrere Festplatten über LVM für den Fileserver zusammengefasst. Mitglieder können jederzeit von außen in das Netzwerk des backspace.

lila

IP Dienste Beschreibung
10.1.20.6 nginx, uwsgi Webinterface für das Spaceportal. Prüft Passwörter und weist gegebenenfalls die Flepo zum öffnen/schliesen der Tür an.


ava

IP Dienste Beschreibung
10.1.20.7 sftp Kleiner Server der Platz bietet für Dateien welche für den Vorstand relevant sind. (Briefvorlagen, Rechnungen, etc.)

Flepo

IP Dienste Beschreibung
10.1.20.10 nginx, uwsgi Steuert Relaisboard für Spaceportal, EXIT-Schild (an/aus) und Arduino für LEDs im Rack.
Flepo
Technische Daten
  • Chassis: 16,6cm x 13,7cm x 5,2cm (hoch)
  • AMD Geode LX2-800 500Mhz
  • 1x DDR1 So-Dimm max. 1024MB
  • Serial ATA (2,5" HDD) 10GB
  • 2x RJ45 10/100/1000Mbit BASE-TX Auto MDI/MDI-X
  • 4x USB 2.0 (2 Ports Vorderseite / 2 Ports Rückseite)
  • 1x VGA (15-Pin D-Sub)
  • 2x 9-Pin seriell
  • 1x parallel

backspace-netbook

IP Dienste Beschreibung
dhcp Ubuntu Ein netbook das an Boxen angeschlossen ist und meistens nur als MPD-Stream-Client genutzt wird.

Dienste im Überblick

Service DNS IP Port
MPD (Lounge) mpd-lounge 10.1.20.8 6600
MPD (Hinterraum) mpd 10.1.20.5 6600
MPD Webinterface http://int.bckspc.de/mpd 10.1.20.4 80
Statusinformationen status.bckspc.de 10.1.20.4 80
Alive Hosts http://int.bckspc.de/alive 10.1.20.4 80
NFS nfs 10.1.20.5 -
FTP nfs 10.1.20.5 21
SMB nfs 10.1.20.5 21
MySQL violet 10.1.20.5 -
Cacti Webinterface http://status.bckspc.de/cacti 10.1.20.5 80
Git rose 10.1.20.4 22
Trac http://projects.bckspc.de 10.1.20.4 80
OpenVPN dyn.bckspc.de 10.66.77.0/24 -

Drucker

Für Druck-, Scan-, und Kopieraufgaben steht ein Multifunktionsgerät auf dem Tisch bereit welches per WLAN an das interne Netz angebunden ist. Siehe dazu HowTo/Drucker