Unser Kunde aus der Versicherungsbranche möchte Sicherheitslücken (u.a. Zero-Day-Exploits) frühzeitig erkennen.
Dazu sollen beispielsweise Telegram Gruppen und Twitter Kanäle überwacht werden, ob dort relevante Informationen gepostet werden.
Wir entwickeln eine Microservice-basierte Crawler-Architektur. Dazu werden beispielsweise Telegram Gruppen und Twitter Kanäle zeitgesteuert überwacht und mittels Screen-Scraping ausgelesen. Die so gewonnenen Rohdaten werden in einer NoSQL Datenbank abgespeichert und einer nachgelagerten Datenanalyse zur Verfügung gestellt.
Die von uns entwickelte Softwarelösung erlaubt es, neue Datenquellen (z.B. Darknet-Foren) einfach als neue Scraper-Instanzen hinzuzufügen. Durch den Docker-basierten Ansatz lässt sich die Anwendung einfach und zielgerichtet skalieren.
