Das eigene Tweetarchiv.

19 01 2013

Viele von uns sind bei Twitter anzutreffen. Wir pusten unsere Gedanken ins Netz und dort verschwinden sie nach ein paar Tagen im Nirvana. Keiner erinnert sich mehr daran, die Chance nachzulesen ist bei Twitter auch nicht gerade einfach. Wenn ich einen meiner ersten Tweets lesen will, klappt das nicht.

Nun gibt es seit einiger Zeit Tools wie Tweetnest und Thinkup. Beide archivieren eure Tweets. Tweetnest ist spartanisch gehalten, ihr seht eure Tweets, könnt auf einer Zeitleiste einzelne Tage auszählen oder eine Textsuche bemühen.
Thinkup sichert nicht nur Tweets, ihr könnt dort auch Facebook, Google+ und Foursquare einbinden und eure Statusupdates sichern. Außerdem gibt es einige Auswertungsmöglichkeiten und mehr oder weniger sinnvolle Grafiken, neudeutsch Charts.
Beide Tools haben aber einen Nachteil, sie können durch eine Beschränkung der Twitter-API nicht besonders weit in die Vergangenheit schauen. Diese Twitter-API ist die Verbindung der Programme zu euren Tweets. Twitter erlaubt es nur 3200 Tweets der Vergangenheit zu laden. Wer also zum Installationszeitpunkt eines Tools mehr als 3200 Tweets hat, schaut in die Röhre. Eure Tweets, die ihr in Zukunft schreibt, werden alle erfasst – wenigstens da seid ihr auf der sicheren Seite. Ich habe Tweetnest seit über einem Jahr laufen und habe dort etwas über 13.000 Tweets gesammelt. Somit fehlten mir aber über 23.000!

Twitter bietet nun seit einiger Zeit die Möglichkeit, seine Tweets herunter zu laden. Diese Funktionalität wird nach und nach für alle Nutzer freigeschaltet.
Der Punkt ist in den Account-Einstellungen im unteren Teil zu finden, wenn er für euch aktiviert ist.
Auch hier kommt ihr nicht sofort an eure Tweets, ihr müsst erst einen Download anfordern. Dies geht ganz einfach via Mausklick und dann heißt es warten. Bei mir betrug die Wartezeit nur 5 Minuten. Die Zeit variiert aber. Wenn der Download endgültig bereitsteht, bekommt ihr eine Mail mit dem Downloadlink.

Bei mir sind (nahezu) alle Tweets enthalten. Ca. 20 Stück sind trotzdem irgendwo im Datenorkus verschwunden.
Das Twitter-Archiv enthält alles, was man benötigt um seine alten Tweets anzuschauen – ihr benötigt lediglich einen Browser.
Wenn die Daten schon mal da sind, dann könnte man sie ja gleich weiter nutzen. Wie sind sie denn abgelegt? Jeder Monat wird in einer separaten Datei gespeichert. Einmal als CSV-Datei und einmal als JavaScript-Datei. Interessant an den JavaScript-Dateien ist die Tatsache, dass es nahezu sauberes JSON ist – lediglich die erste Zeile stört.
Ein „tail -n +2“ würde unter Linux in diesem Fall schon weiter helfen.

Da ich sicher nicht der Erste bin, der die Daten nutzen will, fragen wir doch mal unsere freundliche Datenkrake Google, wie es diesbezüglich aussieht. Siehe da, es gibt einen Fork des originalen Tweetnests auf GitHub. Dieser enthält nicht nur einen Import, sondern ist auch auf dem aktuellen Tweetnest-Stand.
Ein beherztes „git clone git://github.com/tralafiti/tweetnest.git“ später und ich hatte die Version auf meiner Platte. Noch schnell die Tweetnest-Konfiguration („inc/config.php“) und die dazugehörige Datenbank sichern, die geänderte Tweetnest-Version einspielen und die Konfiguration wieder zurückspielen.

Diese Tweetnest-Version benötigt noch eine Änderung der Datenbank, die ID jedes Tweets darf nur noch einmal vorkommen. Doch keine Sorge, ich müsst euch darüber keine Gedanken machen. Mittels „php upgrade.php“ startet ihr ein mitgeliefertes Skript, welches euch die Arbeit abnimmt.
Das ging einfacher als gedacht. Nun die Javascript-Dateien aus dem Twitter-Export in das Verzeichnis “archive” kopierten und den Import mittels “php maintenance/loadarchive.php” anschmeißen. Etwas mehr als 15 Minuten später waren meine fast 36.000 Tweets importiert, es gab keine Dopplungen und ich kann sie wie von Tweetnest gewohnt durchsuchen und mir der Zeit nach geordnet ansehen.
Wie bereits erwähnt, fehlen 20 Tweets, dies kann ich persönlich aber verschmerzen. Die zukünftigen Tweets werden dann über den Tweetnest eigenen Mechanismus wie gewohnt abgerufen und gespeichert.

Werbeanzeigen




Das Ende von Zooomr.

31 08 2011

Es begann alles so interessant.

Ein Start-up wollte damals™ Flickr Konkurrenz machen. Bilder hochladen, keine Beschränkungen und alles für umme. Nachdem das Datacenter umgezogen war, tat sich nicht mehr viel bei Zooomr. Es gab keine Neuerungen – aber es lief alles. Bis vor Kurzem. Es sind Bilder verschwunden die 2009 oder früher hochgeladen wurden.
Eine Reaktion seitens Zooomr gab es anfangs nicht, Kristopher Tate, der Kopf hinter Zooomr reagierte auf keine Anfragen der User. Auf der japanischen Seite von Zooomr konnte man Folgendes lesen:

Angekündigt> August 2011: keine Pläne für Entwicklung und Pflege. Die Stabilität der Services ist nicht garantiert. Bei Verwendung bitte die nötige Sorgfalt walten lassen (Übersetzt mit Google Translate und Grammatik angepasst)

Auf der deutschen oder englischen Seite war kein entsprechender Hinweis zu finden. Später hieß es dann, es seien Probleme mit einem Plattenarray aufgetreten, daher sind die Fotos weg.

Die Bilder aus den ersten beiden Jahren dieses Blogs waren bei Zooomr gehostet, auch sie sind somit aktuell leider nicht verfügbar.
Da ich ein Backup aller Daten habe und es auch regelmäßig geprüft wird, ist es kein Problem meine Bilder wieder hochzuladen. Diesmal allerdings nicht bei Zooomr. Bitte habt Verständnis dafür, dass es ein paar Tage dauern wird, bis ich die Backups heraus gekramt und die Daten hochgeladen habe.

Danke.





XPERIA X10: SMS Backup

11 08 2010

Achtung: Der folgende Beitrag erfordert einiges an Fähigkeiten oder eine gewisse Leidenfähigkeit gepaart mit Lernwilligkeit, Datenbankgrundkenntnisse sind sicher auch nicht verkehrt. Bei Fragen stehe ich euch aber so gut es geht mit Rat und Tat zur Seite.

Einige von euch wollten sicher schon einmal ihre SMS archivieren. Sei es weil es süße Worte des oder der Liebsten waren oder wichtige Infos, Adressen und ähnliches.

Es gibt eine Funktion mit der könnt ihr eure Nachrichten (SMS & MMS) auf die SD-Karte des X10 speichern lassen. Dieser Export lässt sich später übrigens auch wieder in das Handy importieren. In wie weit dies Problemlos funktioniert, habe ich allerdings nicht getestet. Mir ging es erst einmal nur um das Speichern von SMS auf meinem Rechner.

Diese Funktion zum Speichern der Nachrichten fällt einem nicht sofort auf, da sie ein wenig versteckt integriert wurde.

Ihr müsst das Nachrichtenmenü des Xperia aufrufen, dort die Menütaste (linke Taste mit den 4 Quadraten) drücken und im folgenden Menü wählt ihr „Speichern auf SD“ aus.
Nachdem ihr eine Abfrage bestätigt habt ob ihr wirklich die Nachrichten auf die SD-Karte kopieren lassen wollt, werden die Nachrichten gespeichert. Je nach Anzahl der zu speichernden Nachrichten, dauert es einige Sekunden – insgesamt geht dieser Vorgang aber erfreulich schnell von statten.

Die Datei in der die Nachrichten gespeichert wurden heißt „mmssms_bk.db“ und befindet sich im Pfad „/system/message/master/“

Doch was zum Teufel ist eine DB-Datei und mit welchem Programm kann ich diese öffnen?

Öffnet ihr die Datei mit einem normalen Editor wie z.B. Notepad++, könnt ihr erkennen, das an erster Stelle in der Datei „SQLite format 3“ steht. SQLite ist ein Datenbankformat bei dem ihr keinen Datenbankserver benötigt sondern die komplette Datenbank in einer einzigen Datei steckt.

Nun kommen wir aber immer noch nicht an die SMS heran. Wir müssen uns erst ein Programm besorgen, welches mit besagtem SQLite-Format klar kommt. Eines dieser Tools ist der SQLite Database Browser, welchen ihr auf der dazugehörigen Sourceforge-Projektseite kostenlos herunterladen könnt.

Das herunter geladene Zip-Archiv entpackt ihr und startet danach die enthaltene Exe-Datei. Der Dateiname lautet „SQLite Database Browser“ gefolgt von der Versionsnummer – aktuell  „SQLite Database Browser 2.0 b1″ (Stand 11.08.2010).

Über „File -> Open Database“ öffnet ihr die DB-Datei in die eure Nachrichten exportiert wurden.

Als Erstes bekommt ihr die Datenbankstruktur der Datei angezeigt, die euch aber nicht weiter interessieren muss. Wechselt zur Registerkarte „Browse Data“ und wählt aus der Auswahlliste die Tabelle „sms“ aus. Hier findet ihr, wie der Name schon richtig vermuten lässt alle SMS.

Alle SMS mit derselben „Thread ID“ gehören zu einem Mitteilungsstrang – diese werden auch auf dem X10 gruppiert angezeigt. Unter „Adress“ steht der Absender oder der Empfänger der SMS. Das Feld „Date“ beinhaltet das Datum und die Uhrzeit der Nachricht als Timestamp.

Eine SMS mit „Type“=1 ist eine SMS die ihr empfangen habt, „Type“=2 wäre eine SMS die ihr versendet habt. Unter „Body“ befindet sich der eigentliche Text der SMS.

Eine Anmerkung noch zu dem Timestamp:
Der Timestamp ist 13-stellig, was nicht einem normalen Unix Timestamp entspricht. Twitter und vor allem @hsoebbing sei dank weiß ich nun, dass der 13-stellige Zeitstempel die sogenannte Microtime ist – eng verwandt mit dem Unix Timestamp, allerdings in Mikrosekunden. Dividiert man den Zeitstempel durch 1000 erhält man den Unix Timestamp.





Dropbox – Der digitale Zauberhut.

12 06 2010

Wer kennt es nicht, der Zauberer auf der Bühne greift in seinen Hut und heraus kommt ein Kaninchen. Doch woher kommt das Kaninchen? Vielleicht hat der Zauberer ja einen Dropbox-Hut.

Dropbox – was ist das? Für mich ist es eine ungeheure Arbeitserleichterung. Ein Tool welches gegen meine Vergesslichkeit hilft und das (digitale) Leben ein wenig einfacher macht. Wie oft ist es schon vor gekommen, dass ich mir abends noch schnell ein paar Dateien auf den USB-Stick kopiert habe um sie am nächsten Morgen im Hörsaal oder im Büro dabei zu haben. Doch auch schier endloses kramen, buddeln und suchen in meinen Hosentaschen hat den Stick nicht zum Vorschein gebracht. Nicht einmal Google hätte ihn dort gefunden – ich hatte ihn schlicht und ergreifend vergessen.

Hier kommt Dropbox ins Spiel. Dropbox ist ein Service zur Datensynchronisierung. Man registriert sich auf der Webseite von Dropbox und schon hat mein einen Gratisaccount mit 2 GB Speicherplatz. Der nächste Schritt ist die Installation eines Clients auf dem Rechner. Keine Angst, nicht nur die Windows-Nutzer können Dropbox nutzen. Es gibt auch Clients für Linux, Mac, Android, das iPhone und auch das iPad (native iPad App). Ein Blackberry-Client ist in Arbeit.
Des Weiteren findet man im Dropbox-Forum noch einen portablen Client für Windows der von einem USB-Stick lauffähig ist und eine sehr einfache Anleitung, wie der Linux Client auch ohne grafische Oberfläche zum Laufen  gebracht werden kann. Selbst ältere Windowsversionen stellen kein Problem dar.

Nach der Installation des Clients habe ich einen neuen Ordner – MyDropbox. Alles was ich nun in diesen Ordner kopiere oder dort abspeichere wird automatisch (Internetverbindung vorausgesetzt) zu Dropbox geladen. Man muss aber keine Ewigkeit warten bis man weiter arbeiten kann. Die Datei ist lokal gespeichert und wird im Hintergrund zu Dropbox übertragen. In diesem Prinzip offenbart sich für mich ein riesiger Vorteil. Sollte aus welchen Gründen auch immer Dropbox von der Bildfläche verschwinden und deren Server unauffindbar sein, so habe ich immer noch meine Daten – schließlich sind sie ja auf meinem Rechner.

Installiere ich nun auf einem zweiten Rechner Dropbox und habe auch dort eine aktive Internetverbindung so wird automatisch bei Dropbox nachgesehen was ich an Dateien habe und diese werden auf den zweiten Rechner herunter geladen. Ändere ich nun etwas an einer Datei auf dem zweiten Rechner und speichere die Änderung ab, so wird auf dem ersten Rechner automatisch die aktualisierte Datei abgerufen. Dropbox scheint auch einen intelligenten Algorithmus zu nutzen, denn es wird nicht immer die komplette Datei übertragen sondern immer nur der Teil, der sich wirklich geändert hat.

So speichere ich sensible Daten vorher in einem TrueCrypt-Container und es wird nie die komplette Containerdatei erneut übertragen sondern immer nur die aktualisierten Stücke. In der „Testing“ Version des Dropbox-Clients gibt es eine eine Funktion um nur bestimmte Dateien zu synchronisieren. Da diese Version aber noch nicht komplett stabil läuft sollte sie nur von erfahrenen Nutzern verwendet werden. Otto Normal User bekommt diesen Client allerdings nicht ohne weiteres zu Gesicht. Somit müsst ihr keine Angst haben und verwendet einfach den Client der euch zum Download angeboten wird.

Eine weitere Funktion von Dropbox die mir schon mehr als einmal aus der Patsche geholfen hat: Über die Dropbox-Webseite kann man auf seine Daten zugreifen und dort auch gelöschte Dateien wiederherstellen. Eine sehr praktische Funktion. Ergänzt wird das ganze von einer Versionierungsfunktion. Wie oft kommt es vor, das man etwas abspeichert und dann mit erschrecken fest stellt, dass man doch eher die alte Version gebraucht hätte. Leider lassen viele Programme nach einem Speichervorgang keine „Rückgängig“ oder „Undo“ Befehle mehr zu. Auch hier hilft die Dropbox Webseite über die man wie gesagt einfach und schnell auf ältere Versionen einer Datei zurück greifen kann.

Über Dropbox kann man auch Fotogalerien und Dateien für Andere freigeben. Speichere ich Bilder in der Dropbox so kann ich mir einen Link generieren lassen, der eine Galerie des Ordners anzeigt. Diesen Link verschicke ich an Freunde und Bekannte, diese können sich dann in aller Ruhe die Fotos anschauen oder herunterladen.  Andere Dateien kann ich ebenfalls aus der Dropbox heraus veröffentlichen. In diesem Fall jedoch keine ganzen Ordner sondern immer nur einzelne Dateien. Auch hier lasse ich mir einen öffentlichen Link generieren den ich frei verteilen kann. Der Empfänger des Links kann sich die Datei herunterladen ohne sich vorher bei Dropbox registrieren zu müssen.

Ein weiterer Weg zum Dateiaustausch sind sogenannte „Shared Folder“. Dabei handelt es sich um Ordner die ich an andere Dropbox Nutzer freigeben kann. Jede Datei die ich nun in diesem Shared Folder anlege bekommt der Nutzer mit dem ich diesen Ordner verknüpft habe ebenfalls angezeigt. So kann man einfach und schnell zusammen an einer Datei arbeiten oder gemeinsam Projekte umsetzen.

Ein Problem bei der Arbeit mit mehreren Personen aber auch bei der Synchronisation mit mehreren Rechnern kann beim Bearbeiten ein und derselben Datei entstehen. Nehmen wir an, wir bearbeiten an einem Laptop und an einem Desktop eine Datei und sind in beiden Fällen offline, so entsteht ein Konflikt. Sobald die Dateien mit Dropbox synchronisiert werden, wird automatisch erkannt, dass es zwei Änderungen eines Dateistandes gibt. Die Lösung bei Dropbox: die erste Synchronisierung wird wie gewohnt durch geführt, die zweite allerdings unter einem neuen Namen eingefügt. Der neue Dateiname setzt sich aus dem originalen Dateinamen und dem Rechnernamen der den Konflikt verursacht hat zusammen.

Das klingt doch alles verführerisch denkt ihr euch. Doch mit was verdienen die ihr Geld? Von Luft und Liebe kann man kein Unternehmen führen.
Stimmt genau! Die Gratisaccounts haben eine Speicherbeschränkung. Wer mehr Platz benötigt, muss auch zahlen. So kosten 50 GB 9,99 USD pro Monat, wer ganze 100 GB zum Synchronisieren möchte muss 19,99 USD im Monat bezahlen. Entschließt man sich, gleich für ein ganzes Jahr zu zahlen, so verringern sich die Kosten auf 99 USD respektive 199 USD.

Ein wenig mehr Speicher als die 2 GB des eigentlichen Gratisaccounts kann man bekommen, indem man eine kleine Einführungstour bei Dropbox abschließt. Mit fünf einfachen Schritten bekommt man 250 MB gut geschrieben. Doch auch hier ist das Ende noch nicht erreicht. In weiteren 250 MB Schritten kann man den kostenlos verfügbaren Speicherplatz bis auf 8 Gigabyte aufstocken. Was dafür zu tun ist? Ihr müsst Freunde und Bekannte werben. Jeder Dropbox Nutzer hat einen speziellen Link über den sich Andere anmelden können. Wenn sich nun ein neuer Nutzer aufgrund eurer Einladung registriert und die Einführungsschritte absolviert hat, bekommt ihr weitere 250 MB. Doch auch die geworbenen bekommen 250 MB gratis. Somit kann ein geworbener Nutzer gleich mit 2,5 GB starten.

Wollt ihr jetzt auch Dropbox nutzen? Hier ist mein Registrierungslink, der euch und mir jeweils 250 MB gratis beschert.