Beschreibung der Beschaffung
Die UniBw M beabsichtigt, im Rahmen des Projektes SPARTA einen Zugang zu Twitter-Daten zu beschaffen.
Sieplant hierfür den Einkauf von Daten sowie der Programmierschnittstellen, mit denen sie auf Daten von
Twitter, insbes. Tweets, zugreifen kann.
Anhand der zwei international und überzeitlichen Szenarien (Use Cases) "Wahlen" und "Gewaltsame
Ausschreitungen" wird die UniBw M historische Ereignisse in Retrospektive untersuchen, aber auch
aufkommende Phänomene analysieren und mit dem sogenannten "Nowcasting", aktuelle Lagen einschätzen
und Prognosen zur nahen Zukunft aufstellen. Zur Bearbeitung benötigt die UniBw M einen direkten und
unmittelbaren Zugang zu historischen Echzeit-Rohaten der Tweets, die weder aggregiert, noch vorverarbeitet
sind und alle relevanten Metadaten über eine Programmierschnittstelle zugänglich sind.
Die UniBw M kann ihre Forschungsziele nicht anhand vorhandener Datenzugänge erreichen. Diese erlauben
entweder den Zugriff auf zu wenige Tweet, bieten keine Echtzeit- und Metadaten oder sie sind aggregiert
bzw. nicht über eine direkte Programierschnittstelle zugänglich. Auf ihrer Grundlage kann die UniBw M keine
stichhaltigen wissenschaftlichen Analysen anstellen, das Forschungsziel kann andernfalls nicht erreicht werden.
Nur kostenpflichtige Twitter-APIs erlauben der UniBw valide Analysen.
Der Datenzugang des Auftragnehmers muss zusammengefasst folgende Anforderungen kummulativ erfüllen:
1. unmittelbare Bereitstellung von Twitter-Rohdaten über eine programmierbare Schnittstelle, einschließlich
der oben genannten Metadaten, Ratelimits, Datenformat und Abfragesprache, für weitere automatisierte
Verarbeitung und Speicherung;
2. im Rahmen der Datenabfrage mittels APIs muss sichergestellt werden, dass möglichst wenige Personen über
die konkreten Abfragen informiert sind;
3. Rohdaten, insbesondere solche, die von besonders schutzbedürftigen Personen veröffentlicht wurden oder
besonders schützenswerte personenbezogene Daten enthalten, müssen auf UniBw M-internen, gesicherten
und zugriffsbeschränkten Servern direkt geladen, gespeichert und weiterverarbeitet werden;
4. für das "Nowcasting" muss die UniBw M mittels der APIs spontan und flexibel auf gegenwärtige
Entwicklungen reagieren und neue Keywords und Hashtags in die API-Abfrage minutiös einspeisen können;
5. die im "Nowcasting" geladenen Daten müssen unmittelbar und direkt in die SPARTA-internen
Analysepipelines eingeführt werden können;
6. eine historische Langzeitbetrachtung der Twitter-Daten, insbesondere von Tweets, seit der Gründung von
Twitter 2006 muss im großen Umfang (>10 Mio. Tweets pro Monat) möglich sein;
7. Daten-Löschkonzepte müssen umsetzbar sein, die den Löschanforderungen von Twitter entsprechen.