Kategorie: Freemail

Heute ist Freitag der 27.04.2012 und das ist der vierte Monatsbericht meines Freemail Services.

Eigentlich bin ich ein absoluter Cyrus/IMAP Fan aber Cyrus ist schwer! Die Lernkurve ist bei Cyrus ziemlich steil und die Dokumentation ist auch nicht der Bringer, vor allem weil es diverse Unterschiede zwischen Versionen gibt von denen viele in keinem HOWTO erwähnt werden. Daher habe ich für den Freemailservice auf Dovecot gesetzt und bin sehr zufrieden. Momentan läuft Dovecot 1.2.5 aber auf einer Testmaschine läuft Dovecot 2.1.3 , auch hier wieder zuverlässig und stabil bis an die Kotzgrenze. In der Dovecot 2.* Version kann man diverse Neuerungen nutzen, wie z.b. Kompression von Mailboxen und den Dsync mit dem man Mailboxen Synchronisieren kann oder als Backup an einen anderen Standort kopieren kann. Mal sehen wie sich diese Features in der freien Wildbahn verhalten und welche Vorteile sie bringen.

Systemtechnisch gibt es kaum Neuerungen, die Systeme laufen Stabil und der Löschprozess wurde noch ein bisschen Optimiert.

Platz technisch liegen wir jetzt bei gut 600 TB, Tendenz steigend. Um Postfix ein wenig zu entlasten Sauge ich jetzt alle User aus dem LDAP und Erzeuge in 10 Minuten Takt daraus eine Postfixmap. Somit spare ich die permanenten Anfragen an die LDAP DB und der Traffic zwischen den Systemen wird damit auch ein bisschen weniger.

 

Heute ist Freitag der 30.03.2012 und das ist der dritte Monatsbericht meines Freemail Services.

Diesen Monat gab es die ersten zwei Accounts die gelöscht wurden, aber nicht weil sie Inaktiv waren sondern weil die User davon überzeugt waren auf ein Kostenpflichtiges Paket Umzusteigen. Um den Kunden die Arbeit zu vereinfachen hab ich sämtliche Mails, Adressen, Aufgaben und Termine auf den anderen Mailcluster Kopiert das Passwort zurückgesetzt und den Index von Dovecot gelöscht damit dieser beim ersten Login des Kunden auf dem anderen System diesen wieder neu erzeugt.

Des Weiteren mehren sich die Fragen nach noch mehr Speicherplatz, anscheinend gibt es eine große Sammelleidenschaft meiner Freemail Kunden.

Auch gab es einige „Beschwerden“ darüber warum Mails mehr als fünf Minuten benötigen bis sie im Posteingang auftauchen. Anscheinend vergessen die Kunden immer wieder das Email keine Kommunikation in Echtzeit ist. Genauso wie SMS, FAX oder Brief ist Email nie als Echtzeitkommunikation vorgesehen gewesen und wird es auch niemals sein. Des Weiteren vergessen die Kunden das vor dem Einliefern ein Greystyle Prozess liegt der unbekannte Mailserver erstmal für fünf Minuten abweist und dann das Einliefern erlaubt. Zwar sind die großen Provider wie Yahoo, GMail und diverse andere in einer Whitelist und werden damit nicht abgewiesen trotzdem ist und bleibt Email keine Realtime Kommunikation.

Ich wundere mich das die Kunden immer wieder diesen Hinweis ignorieren und nur zögerlich auf den Rat hören in das WIKI zu schauen wo solche Fragen beantwortet werden. Nein stattdessen nehmen die Kunden 48 Stunden Reaktionszeit auf sich um die gleiche Antwort zu erhalten „Schauen Sie bitte erst in unser WIKI wo diese Fragen beantwortet werden“. Aber was soll´s, ich hab das das ja so gewollt.

Speicherplatz technisch liegen die Systeme konstant bei knapp 500 TB, ± 500 GB. Die LDAP DB wächst da Systembedingt die Termine und Adressen der User im LDAP liegen. Prozess technisch gab es nur minimale Anpassungen da im Moment die Systeme ziemlich gut und mit Konstanter Systemlast laufen.

Das Aufteilen des Löschprozesses für den Mülleimer und des Spamordner erwies sich als gute Lösung da nun keine extremen Lastspitzen mehr zu verzeichnen sind. Hier werde ich höchstens noch mal den Zeitlichen Ablauf anpassen um den Löschprozess zu beschleunigen und dem Backup mehr Zeit zu verschaffen.

Heute ist Freitag der 24.02.2012 und das ist der zweite Monatsbericht meines Freemail Services.

Im Moment sind noch alle 70.000 Freemail Accounts Aktiv und sind auch Regelmässig in Benutzung. Bisher hat das Script für das Automatische Löschen Inaktiver Accounts keine Arbeit gehabt. Dafür aber um so mehr das Bereinigen der Mülleimer und der Spamordner. Die Mülleimer werden Täglich um 24:00 Uhr geleert was mit Dovecot kurzzeitige enorme Lastspitzen erzeugt und zu dem auch noch einen Massiven I/O Load. Da Dovecot nicht nur die Mails wegräumt sondern auch den Index bereinigen muss, muss Dovecot also an zwei Stellen gleichzeitig Arbeiten.

Um hier die Last besser verteilen zu können werde ich den Cronjob nun aufteilen und nicht ein Cronjob alles machen lassen sondern diesen in mehrere Teile aufteilen und diese dann Zeitlich etwas auseinander ziehen.

Mittlerweile nutzen Postfix, Amavis mit ClamAV, Dovecot und der Apache den Hauptspeicher wesentlich besser aus und das System kann somit mehr Aufgaben bewältigen und hat für Lastspitzen noch Reserven nach oben.

Einziges Problem was es gab war durch ein Update von Dovecot der Sievefilter nicht mehr wollte. Einiges Analysieren brachte zu Tage das der Sieveprozess beim Update hängen geblieben war und somit Dovecot daran hinderte sauber neu zu Starten. Ein KILL mit der Prozessnummer machte dem Spuck morgens um 2:00 Uhr aber ein Ende.

Speicherplatz technisch steigt der Verbrauch der User nach oben. Durch das Löschen vom Spam und Mülleimer hat sich der Speicherplatz Verbrauch fast konstant bei 500 TB eingependelt.

Dafür gibt es aber schon User die nach MEHR Speicherplatz fragen. Da dies aber für den Freemail Dienst nicht vorgesehen ist und es auch in Zukunft nicht Angeboten wird bleibt nur der Ausweg ein anderes Mailpaket zu Buchen was aber auch Geld kostet.

Heute ist Freitag der 27.01.2012 und es sind fast 4 Wochen vergangen nach dem ich den Freemail Service gestartet habe.

Großartig Werbung habe ich dafür nicht gemacht. Ich hab nur ein Beitrag in Facebook veröffentlicht und wollte so mal sehen was geht.

Es ging schnell! Innerhalb von 48 Stunden waren ALLE 70.000 Mailaccounts vergeben und die Last auf dem Cluster ist ganz ordentlich angestiegen. Viele haben gleich versucht per IMAP und POP3 ihre Mailclienten anzubinden was aber von Anfang an nicht zum Paket gehört und auch in Zukunft wird es KEIN Externes IMAP und schon gar nicht POP3 geben. Es wird ausschließlich der Zugang über das Webmailinterface und per ActiveSync für Mobile Geräte und SyncML über Funambol gewährt.

Auch konnte man gut sehen wie der Speicherplatz benutzt wird, da anscheinend viele User alte Mails von anderen Accounts Umgezogen haben.

Da die Freemail Accounts maximal 10 GB Speicher haben und der Papierkorb um Mitternacht und der Spam Ordner immer am ersten des Monats automatisch geleert wird, verbraten die Systeme momentan knapp 420 TB. Der Index den Dovecot intern führt benötigt knapp 35 TB und die LDAP Datenbank nimmt auf den vier Maschinen knapp 120 GB Speicher in Anspruch.

Was mir ein bisschen Sorgen macht ist aber das die Masse der Prozesse von Postfix, Dovecot, Amavis und Apache noch diversen Optimierungsbedarf haben. Der Mailcluster besteht zwar aus vier Maschinen mit je 32 GB Hauptspeicher und je einer Quadcore Intel CPU mit 3,2 GHz aber die Kisten sind sich eher am Langweilen und erzeugen diverse Fehlermeldungen. Gerade Postfix meckert das er nicht mehr genügend Prozesse erzeugen kann um die Masse an eingehenden Mails zu bewältigen.

Auch Amavis mit ClamAV kommen nicht gut mit den Ressourcen zu recht, also wird Amavis eine 1 GB Ramdisk zugeteilt um das Scannen nach Spam und Viren in den Mails zu Beschleunigen.

oder anders gesagt UMSONST!

JA und was soll das???

Ich starte heute einen neuen Service. Einen Kostenlosen Email Service für jedermann!

Warum ?

Na, weil ich es eben kann.

Der Service wird aber auf insgesamt 70.000 Postfächer beschränkt sein und jeder bekommt 10 GB Speicher. Für genau 0,00 Euro.

Folgende Features wird der Service haben:

• Spamfilter (Amavis)
• Virenfilter (ClamAV)
• Emailfilter (Sieve)
• Kalender
• Aufgaben
• Adressbuch
• Notizen
• ActiveSync für Mobile Geräte
• Synchrionisation mit Outlook (über Funambol)
• PFS ( Perfect Forward Secrecy)
• Komplett Verschlüsselte Komunikation
• KEIN POP3
• keine Werbung
• Serverstandorte in Deutschland
• Greylisting (WIKI)
• keine Speicherung von Persönlichen Daten
• Anhänge maximal 100 MB größe (Senden und Empfangen)
• PGP ( Pretty Good Privacy )

Was der Service NICHT bietet:

• kein Externer Zugriff mit Mailclienten möglich
• beschränkte Anzahl von Empfängern pro Mail
• beschränkte Menge der Mails pro 24 h
• Alter der Mails, Kalender Einträge maximal nur 12 Monate
• Löschen des Account nach 3 Monaten ohne Login
• Support nur per Mail (max 48 Stunden Reaktionszeit)
• keine eigene Domain

Anmelden kann man sich HIER und ich werde versuchen JEDEN Monat einen Statusbericht liefern