Tweetnest ist kaputt. Vorläufig.

14 06 2013

Seit zwei Tagen ist meine Tweetnest-Installation kaputt, es werden keine neuen Tweets mehr archiviert. Dem @DL3NGN ist es heute bei seiner Installation auch aufgefallen.
Das Problem ist die Abschaltung der alten API bei Twitter. Andy Graulund (@graulund), der Tweetnest-Entwickler, ist noch nicht auf die aktuelle API umgestiegen und wird es wahrscheinlich auch nicht so schnell tun:

Das Problem ist schon einige Zeit bekannt – doch noch nicht gefixt. Also entweder warten oder selbst versuchen Tweetnest umzustellen.

P.S. Thinkup funktioniert noch.

Advertisements




Tweetnest Installationsanleitung.

23 01 2013

Nachdem mich einige gefragt haben, wie man denn Tweetnest überhaupt installiert und auch die Heldenstadt meiner Anleitung nicht ganz folgen konnte, schreibe ich hier mal eine ausführlichere Anleitung.

Ich muss zugeben, die vorherige Anleitung zum Import seines Twitter-Archiv-Downloads setzte einiges an Wissen voraus und Tools wie z.B. git sind nicht auf jedem Rechner vorhanden und auch einen Shell-Zugang zu seiner Webseite hat nicht jeder.

Daher nun eine Anleitung für Leute mit Webspace auf dem PHP und MySQL verfügbar sind und sonst nichts weiter benötigt wird.

Besorgt euch als Erstes den aktuellen Stand von Tweetnest. Wenn ihr den Link zum Fork des Users tralafiti anklickt, seht ihr einen Button mit der Aufschrift „Zip“, dort wird die aktuelle Version auf euren Rechner herunter geladen.

Entpackt das Archiv, ihr erhaltet einen Ordner „tweetnest-master“. Diesen einfach in „tweetnest“ umbenennen und auf euren Webspace hochladen.
Nun öffnet im Browser die Adresse eurer Webseite und fügt „/tweetnest“ am Ende hinzu. Es sollte sich nun die Installationsseite von Tweetnest öffnen. Hier müsst ihr das Formular mit euren Daten ausfüllen.

Das Feld „TWITTER SCREEN NAME:“ ist selbst erklärend, hier tragt ihr euren Twitternamen ein. Auch die Zeitzoneneinstellung ist keine Hexerei. Für Deutschland wählt ihr bei „YOUR TIME ZONE:“ einfach „Europe/Berlin“ in dem Feld aus.

Die nächste Textbox ist mit „TWEET NEST PATH:“ benannt, diese wird automatisch gefüllt und sollte nur geändert werden, wenn ihr wirklich wisst, was ihr da macht. Also so stehen lassen.
Der nächste Abschnitt ist für die Datenbank-Konfiguration zuständig.
Tragt dort eure MySQL-Zugangsdaten ein, solltet ihr sie nicht wissen, schaut in der Doku eures Anbieters nach oder fragt diesen. Die Datenbank, die Tweetnest nutzen soll, muss schon vorhanden sein. Das Feld „TABLE NAME PREFIX:“ müsst ihr nicht ändern, im Normalfall ist die Einstellung in Ordnung.

Die nächsten zwei Felder drehen sich um das Admin-Passwort. Da ich ja davon ausgehe, dass ihr keinen Shell-Zugang zu eurem Webspace habt, setzt hier bitte ein Passwort. Dies sollte natürlich nicht identisch mit eurem Passwort bei Twitter sein.

Die Haken bei „“FOLLOW ME” BUTTON“ und „SMARTYPANTS“ können einfach gesetzt bleiben.

Das Feld „@ANYWHERE API KEY“ lasst ihr leer, dies ist für den Betrieb von Tweetnest nicht zwingen notwendig.

Ein Klick auf „Submit and Setup“ schließt die Einrichtung ab. Löscht im Anschluss die Datei „setup.php“ von eurem Webspace.

Der erste Schritt nach dem Setup ist das Aufrufen der Load User Seite. Diese erreicht ihr, indem ihr an die Domain eures Webspace „tweetnest/maintenance/loaduser.php“ anfügt.

Wenn ihr also „www.twitterarchiv.tld“ besitzt, so müsst ihr nun „www.twitterarchiv.tld/tweetnest/maintenance/loaduser.php“ aufrufen. Ihr werdet nach einem Benutzernamen und einem Passwort gefragt. Der Nutzername ist euer Twittername und das Passwort ist das bei der Installation vergebene Admin-Passwort.

Die nächsten Schritte kümmern sich um den Import des Twitter-Archivs. Die Zip-Datei, die ihr bei Twitter herunter laden könnt, enthält mehrere Dateien und Ordner. Uns interessieren nur die Dateien im Ordner „data\js\tweets“. Für jeden Monat gibt es dort eine Datei, der Dateiname ist immer wie folgt aufgebaut: „jjjj_mm.js“. So heißt beispielsweise die Datei für den Januar 2013 „2013_01.js“. Alle Javascript-Dateien aus dem tweets-Ordner nehmt ihr nun und ladet sie in den schon vorhandenen Ordner „tweetnest/archive“ auf eurem Webspace.

Nun wird die Seite „maintenance/loadarchive.php“ im Browser aufgerufen, die komplette URL müsst ihr euch wieder wie im oben beschriebenen Beispiel zusammenbauen.
Normalerweise startet man den Import über den Shell-Zugang, dort gibt es dann auch keine Probleme. Über den Browser hat eine PHP-Datei nur eine beschränkte Ausführungszeit, dann wird der Import abgebrochen und ihr seht eine Fehlermeldung eures Browsers („Zeitüberschreitung“).
Keine Sorge, dies ist nicht weiter problematisch und der Entwickler des Skripts hat dies berücksichtigt. Ladet einfach die Seite neu, nachdem der Fehler aufgetreten ist. Dies wiederholt ihr nach jeder Fehlermeldung. Je nach Server, auf dem ihr euren Webspace habt, kann mit einem Mal laden zwischen 2500 und 5000 Tweets importiert werden. So könnt ihr grob überschlagen, wie oft ihr die Seite aufrufen müsst.
Versucht aber nicht wie im Wahn die Seite neu zu laden, dass beschleunigt nichts. Also immer erst die Fehlermeldung abwarten und schauen, dass der Browser nicht noch versucht die Seite zu laden. Bei den meisten Anbietern ist das Timeout auf 60 Sekunden gesetzt, d.h., nach 60 Sekunden wird der Import abgebrochen und erst dann ladet ihr die Seite neu.

Wenn ihr dann die Seite „Tweet Nest: Loading tweets from archive“ seht, dann ist der Import komplett abgeschlossen.

Nun könnt ihr Tweetnest benutzen.
Damit Tweetnest auch eure zukünftigen Tweets empfangen kann, müsst ihr regelmäßig die Seite „maintenance/loadtweets.php“ aufrufen. Bei diesem Aufruf werden maximal 3200 Tweets der Vergangenheit geladen, wer also extrem häufig twittert, muss die Aktualisierung häufiger laufen lassen als der wenig-Twitterer.





Das eigene Tweetarchiv.

19 01 2013

Viele von uns sind bei Twitter anzutreffen. Wir pusten unsere Gedanken ins Netz und dort verschwinden sie nach ein paar Tagen im Nirvana. Keiner erinnert sich mehr daran, die Chance nachzulesen ist bei Twitter auch nicht gerade einfach. Wenn ich einen meiner ersten Tweets lesen will, klappt das nicht.

Nun gibt es seit einiger Zeit Tools wie Tweetnest und Thinkup. Beide archivieren eure Tweets. Tweetnest ist spartanisch gehalten, ihr seht eure Tweets, könnt auf einer Zeitleiste einzelne Tage auszählen oder eine Textsuche bemühen.
Thinkup sichert nicht nur Tweets, ihr könnt dort auch Facebook, Google+ und Foursquare einbinden und eure Statusupdates sichern. Außerdem gibt es einige Auswertungsmöglichkeiten und mehr oder weniger sinnvolle Grafiken, neudeutsch Charts.
Beide Tools haben aber einen Nachteil, sie können durch eine Beschränkung der Twitter-API nicht besonders weit in die Vergangenheit schauen. Diese Twitter-API ist die Verbindung der Programme zu euren Tweets. Twitter erlaubt es nur 3200 Tweets der Vergangenheit zu laden. Wer also zum Installationszeitpunkt eines Tools mehr als 3200 Tweets hat, schaut in die Röhre. Eure Tweets, die ihr in Zukunft schreibt, werden alle erfasst – wenigstens da seid ihr auf der sicheren Seite. Ich habe Tweetnest seit über einem Jahr laufen und habe dort etwas über 13.000 Tweets gesammelt. Somit fehlten mir aber über 23.000!

Twitter bietet nun seit einiger Zeit die Möglichkeit, seine Tweets herunter zu laden. Diese Funktionalität wird nach und nach für alle Nutzer freigeschaltet.
Der Punkt ist in den Account-Einstellungen im unteren Teil zu finden, wenn er für euch aktiviert ist.
Auch hier kommt ihr nicht sofort an eure Tweets, ihr müsst erst einen Download anfordern. Dies geht ganz einfach via Mausklick und dann heißt es warten. Bei mir betrug die Wartezeit nur 5 Minuten. Die Zeit variiert aber. Wenn der Download endgültig bereitsteht, bekommt ihr eine Mail mit dem Downloadlink.

Bei mir sind (nahezu) alle Tweets enthalten. Ca. 20 Stück sind trotzdem irgendwo im Datenorkus verschwunden.
Das Twitter-Archiv enthält alles, was man benötigt um seine alten Tweets anzuschauen – ihr benötigt lediglich einen Browser.
Wenn die Daten schon mal da sind, dann könnte man sie ja gleich weiter nutzen. Wie sind sie denn abgelegt? Jeder Monat wird in einer separaten Datei gespeichert. Einmal als CSV-Datei und einmal als JavaScript-Datei. Interessant an den JavaScript-Dateien ist die Tatsache, dass es nahezu sauberes JSON ist – lediglich die erste Zeile stört.
Ein „tail -n +2“ würde unter Linux in diesem Fall schon weiter helfen.

Da ich sicher nicht der Erste bin, der die Daten nutzen will, fragen wir doch mal unsere freundliche Datenkrake Google, wie es diesbezüglich aussieht. Siehe da, es gibt einen Fork des originalen Tweetnests auf GitHub. Dieser enthält nicht nur einen Import, sondern ist auch auf dem aktuellen Tweetnest-Stand.
Ein beherztes „git clone git://github.com/tralafiti/tweetnest.git“ später und ich hatte die Version auf meiner Platte. Noch schnell die Tweetnest-Konfiguration („inc/config.php“) und die dazugehörige Datenbank sichern, die geänderte Tweetnest-Version einspielen und die Konfiguration wieder zurückspielen.

Diese Tweetnest-Version benötigt noch eine Änderung der Datenbank, die ID jedes Tweets darf nur noch einmal vorkommen. Doch keine Sorge, ich müsst euch darüber keine Gedanken machen. Mittels „php upgrade.php“ startet ihr ein mitgeliefertes Skript, welches euch die Arbeit abnimmt.
Das ging einfacher als gedacht. Nun die Javascript-Dateien aus dem Twitter-Export in das Verzeichnis “archive” kopierten und den Import mittels “php maintenance/loadarchive.php” anschmeißen. Etwas mehr als 15 Minuten später waren meine fast 36.000 Tweets importiert, es gab keine Dopplungen und ich kann sie wie von Tweetnest gewohnt durchsuchen und mir der Zeit nach geordnet ansehen.
Wie bereits erwähnt, fehlen 20 Tweets, dies kann ich persönlich aber verschmerzen. Die zukünftigen Tweets werden dann über den Tweetnest eigenen Mechanismus wie gewohnt abgerufen und gespeichert.





1000 Tage – Rückblick, Ausblick, Rundblick.

13 04 2010

Heute wird der Chaosblog 1000 Tage alt.

Gestartet hatte ich das ganze aus einer spontanen Laune heraus. Dachte auch nicht, dass ich das „Projekt Chaosblog“ länger als ein paar Monate verfolgen würde oder überhaupt jemand diesen Blog lesen wird.

Doch ich habe mich getäuscht.

1000 Tage schreibe ich hier nun schon – auch wenn es ruhiger geworden ist, als in der Anfangszeit.
Im Schnitt habe ich 80 Besucher am Tag. Nichts was die Blogpromis vom Hocker reißt – es wird ihnen wahrscheinlich nur ein mitleidiges Lächeln entlocken. Doch für mich sind 80 Besuche schon mehr als ich erwartet habe.
Ist dieser Blog doch ein Auffangbecken des Chaos.

In diesem Blog gibt es den roten Faden, dass es keinen roten Faden gibt.

Ein Konzept mit dem man keine Besucher anlockt, mit dem man auch kein Geld machen kann. Will ich auch nicht!
Hier schreibe ich einfach was mir in den Sinn kommt. Auch wenn es manchmal Unsinn ist. Ich muss nicht bei Heise genannt werden, ich brauch keine Millionen Hits pro Woche.

Mich entlohnen meine Leser. Zu Wissen, dass es Leute gibt, die meinen Kram lesen und sich ihre eigenen Gedanken machen, vielleicht einen Kommentar posten oder auch ein Einfaches „Danke“ wenn jemand meine Tipps und Tricks oder Hinweise gebrauchen konnte.

Ich blogge nicht für Reichtum, für den Weltfrieden oder für eine extra Portion Fleisch – Ich blogge für mich.
Heute kann ich mich hin setzten und lesen, was mich vor 1000 Tagen beschäftigt hat. Der Blog ist ein digitales Archiv für mich. Ein Backup meiner Gedanken in Web.

Wie werden die nächsten 1000 Tage Chaosblog aussehen?

Ich werde in den nächsten Tagen mein persönliches Projekt 365 starten. 365 Tage unterwegs mit dem Chaosblog. Ich werde euch 365 Tage lang mit Schnappschüssen aus dem Leben des Chaosblogs beglücken. Allerdings nicht ganz so wie ihr euch das wahrscheinlich vorstellt… Der Fokus wird immer auf dem Chaosblog liegen. Wie genau es aussehen wird? Lasst euch überraschen.

Um damit diesen Blog hier nicht zu überschwemmen und auch eine Abgrenzung zum normalen Blog zu bekommen, werde ich das ganze bei Posterous veröffentlichen. Den Link werde ich hier posten sobald es los geht.

Ich danke allen Lesern die meinen Blog lesen, besonders auch denjenigen, die mal einen Kommentar hinterlassen.

Wie lange der Chaosblog existieren wird, ob ich ihn das nächste Jahr, die nächsten Jahre oder länger fortführe kann ich euch nicht sagen, da ich es selbst noch nicht weiß.

Doch definitiv wird dieser Blog nicht einfach so weg sterben. Er ist ein Teil von mir geworden. Ich bin Chaosblog und Chaosblog ist mein Ich – zumindest teilweise.