Datenzugang zur Twitter-API-Datenbank

Die UniBw M beabsichtigt, im Rahmen des dtec.bw-Projektes Society, Politics and Risk with Twitter Analysis (SPARTA) einen Zugang zu den Twitter-eigenen API der Twitter Inc. (Twitter) zu beschaffen. Sie will an der Fakultät für Staats- und Sozialwissenschaft im Rahmen des Projektes SPARTA eine Infrastruktur aufbauen, die es in großem Umfang ermöglicht, Twitter-Daten auszuwerten. Anhand der 2 Szenarien „Wahlen“ und „Gewaltsame Ausschreitungen“ wird sie historische Ereignisse in Retrospektive untersuchen sowie aufkommende Phänomene analysieren und mit dem sogenannten „Nowcasting“, dem Schätzen der aktuellen Lage und der Prognose der nahen Zukunft, einen gesellschaftlichen und wissenschaftlichen Beitrag leisten. Hierzu benötigt die UniBw M einen Zugang zu Twitter-Daten, mit dem sie auf Echtzeit-Daten, aber auch historische Daten bis zum ersten Tweet seit der Twitter-Gründung 2006 über eine Programmierschnittstelle zugreifen kann.

Die UniBw M beabsichtigt, im Rahmen des Projekts SPARTA einen Zugang zu Twitter-Daten zu beschaffen. Sie plant hierfür den Einkauf von Daten sowie der Programmierschnittstellen, mit denen sie auf Daten von Twitter, insbesondere Tweets, zugreifen kann.

Anhand der 2 international und überzeitlichen Szenarien (Use Cases) „Wahlen“ und „Gewaltsame Ausschreitungen“ wird die UniBw M historische Ereignisse in Retrospektive untersuchen, aber auch aufkommende Phänomene analysieren und mit dem sogenannten „Nowcasting“ aktuelle Lagen einschätzen und Prognosen zur nahen Zukunft aufstellen. Zur Bearbeitung benötigt die UniBw M einen direkten und unmittelbaren Zugang zu historischen und Echtzeit-Rohdaten der Tweets, die weder aggregiert, noch vorverarbeitet sind und alle relevanten Metadaten enthalten und über eine Programmierschnittstelle zugänglich sind.

Die UniBw M kann ihre Forschungsziele nicht anhand vorhandener Datenzugänge erreichen. Diese erlauben entweder den Zugriff auf zu wenige Tweets, bieten keine Echtzeit- und Metadaten oder sie sind aggregiert bzw. nicht über eine direkte Programmierschnittstelle zugänglich. Auf ihrer Grundlage kann die UniBw M keine stichhaltigen wissenschaftlichen Analysen anstellen, das Forschungsziel kann andernfalls nicht erreicht werden. Nur kostenpflichtige Twitter-APIs erlauben der UniBw M valide Analysen.

Der Datenzugang des Auftragnehmers muss zusammengefasst folgende Anforderungen kumulativ erfüllen:

1. unmittelbare Bereitstellung von Twitter-Rohdaten über eine programmierbare Schnittstelle, einschließlich der oben genannten Metadaten, Ratelimits, Datenformat und Abfragesprache, für weitere automatisierte Verarbeitung und Speicherung;

2. im Rahmen der Datenabfrage mittels APIs muss sichergestellt werden, dass möglichst wenige Personen über die konkreten Abfragen informiert sind;

3. Rohdaten, insbesondere solche, die von besonders schutzbedürftigen Personen veröffentlicht wurden oder besonders schützenswerte personenbezogene Daten enthalten, müssen auf UniBw M-internen, gesicherten und zugriffsbeschränkten Servern direkt geladen, gespeichert und weiterverarbeitet werden;

4. für das „Nowcasting“ muss die UniBw M mittels der APIs spontan und flexibel auf gegenwärtige Entwicklungen reagieren und neue Keywords und Hashtags in die API-Abfrage minutiös einspeisen können;

5. die im „Nowcasting“ geladenen Daten müssen unmittelbar und direkt in die SPARTA-internen Analysepipelines eingeführt werden können;

6. eine historische Langzeitbetrachtung der Twitter-Daten, insbesondere von Tweets, seit der Gründung von Twitter 2006 muss im großen Umfang (> 10 Mio. Tweets pro Monat) möglich sein;

7. Daten-Löschkonzepte müssen umsetzbar sein, die den Löschanforderungen von Twitter entsprechen.

Erläuterung:

Aus technischen Gründen ist Twitter Monopolist für die zu beschaffenden Leistungen.

Nur Twitter erfüllt mit seinem Datenzugang alle Anforderungen der UniBw M kumulativ. Die UniBw M kann nur mit Twitters Zugang direkt und ohne Umwege Daten abrufen, speichern und analysieren. Allein Twitter ermöglicht durch seine Historical PowerTrack API den Zugriff auf die historischen Daten zurück bis ins Gründungsjahr 2006 und erlaubt der UniBw M im SPARTA-Projekt die zwingend erforderliche historische Langzeitbetrachtung der Twitter-Daten. Diese Langzeitbetrachtung ist für die UniBw M zentral, um die großen Entwicklungslinien der beiden zu betrachtenden Use Cases analysieren zu können. Vor allem aber kann Twitter als einziger die Rohdaten samt aller Metadaten über eine direkte Programmierschnittstelle zur Verfügung stellen.

Eine Alternative oder Ersatzlösung zum Abschluss des Vertrages mit Twitter besteht nicht.

Die UniBw M ist auf die historischen Daten und APIs von Twitter angewiesen, um die Fragestellungen im Sparta-Projekt erforschen und beantworten zu können. Kein anderes Unternehmen verfügt über eine vergleichbare Technik. Es ist der UniBw M mit keinem anderen Unternehmen in vergleichbarer Weise möglich, in Echtzeit Daten zu analysieren und neue Keywords oder Hashtags in die API-Abfrage minutiös einzuspeisen.

Genaue Angaben zu den Fristen für die Einlegung von Rechtsbehelfen: