Wenn Sie wie ich eine Führungskraft im Bereich Informationstechnologie (IT) sind, haben Sie – hoffentlich – viel zu viele Nächte damit verbracht, über die Hunderten/Tausenden von Code-Repositories nachzudenken, die von Dutzenden internen Groups und externen Beratern und falls vorhanden aktualisiert und gepflegt werden Repositories bergen Geheimnisse, die Ihr Unternehmen gefährden und schließlich zum Scheitern bringen können. Bei Mentat haben wir etwas dagegen unternommen, damit unsere Kunden und wir nachts besser schlafen können. Vor etwa zwei Jahren haben wir Gitleaks erweitert, um alle Repositorys zu durchlaufen, Geheimnisse anhand einer TOML-Datei mit gängigen Regex-Geheimnismustern zu identifizieren, die Pipeline-Ergebnisse an Kafka und dann an Elasticsearch weiterzuleiten, und schließlich haben wir Kibana verwendet, um eine Aufschlüsselung möglicher Repository-Lecks zu visualisieren nach Group und Codebasis. Es sah so aus:
Die ersten Ergebnisse dieser Lösung haben uns dabei geholfen, Folgendes zu erreichen:
– Bereinigen Sie mit BFG eine ganze Reihe von Geheimnissen in allen Repositorys von Dutzenden von Groups
– Visualisieren Sie, welche Groups die meisten Geheimnisse hatten und welche Arten von Geheimnissen. Dies wiederum ermöglichte es uns, den Groups den angemessenen Umgang mit Geheimnissen beizubringen
– Führen Sie einen automatisierten Prozess ein, um zu verhindern, dass Benutzer potenzielle Geheimnisse an Hauptfilialen weitergeben
– Erhöhen Sie die Sicherheit, indem Sie unsere Geheimnisverwaltungslösung Azure Key Vault und Azure Pipelines verwenden, um Entwicklern und Administratoren die Verwaltung und Verwendung von Geheimnissen einfacher und sicherer zu machen.
Das conflict alles großartig! Wir verbessern uns jedoch kontinuierlich und haben viele potenzielle Probleme bei der Nutzung eines Instruments festgestellt, das an statische Regex-Muster gebunden ist. Aus diesem Grund mussten wir Repositorys ständig und manuell nach neuen Arten geheimer und halbgeheimer Daten durchsuchen, um neue Regex-Muster zu erstellen. Das conflict eine enorme Zeitverschwendung. Was additionally tun? Nun, wir haben uns entschieden, Alpaca AI Safety zu entwickeln. Alpaca AI ist ein Software für künstliche Intelligenz, das sich dynamisch an die sich ständig ändernde Landschaft geheimer und halbgeheimer Daten in Ihrem Unternehmen anpasst. Nebenbei bemerkt, wir haben mit Git begonnen, es aber auf alle Arten von Dokumenten ausgeweitet. Weitere Informationen finden Sie hier. Wie auch immer, zurück zum Geschäft. Alpaca AI kombiniert die Leistungsfähigkeit der Verarbeitung natürlicher Sprache (NLP) und maschinelles Lernen, um sich dynamisch an Umgebungen anzupassen, ohne dass statische Regex-Muster erforderlich sind. Nachdem wir das Modell auf Millionen von Git-Commits trainiert hatten, setzten wir es in Gang, indem wir alle Repos, die wir schaffen, stapelweise zusammenfassten, um jede Nacht Dutzende gleichzeitiger Scans über Hunderte von Repos durchzuführen. Die Beispiel-Pipeline-Ausgabe sieht folgendermaßen aus:
Für jede Pipeline-Ausführung muss ein Stapel von Repos gescannt werden. Jeder Scan durchläuft Hunderte von Repos, Tausende von Branches und Millionen von Commits. Wie oben zu sehen ist, hat diese eine Pipeline in etwa 5 Minuten 217.000 Commits gescannt und 65 potenzielle Geheimlecks gefunden. Das ist wirklich beeindruckend und eine enorme Zeitersparnis. Das andere wirklich schöne an Alpaca AI ist, dass wir Gitleaks einfach gegen Alpaca AI ausgetauscht haben, sodass alle Daten weiterhin von der Pipeline zu Elasticsearch fließen, wo Benutzer die gehashten Werte halbgeheimer Daten sehen können! Einige der Vorteile sind:
– Repos müssen nicht nach möglichen Geheimnissen durchsucht werden, um neue Regex-Muster für die Suche zu erstellen. Das erspart uns Hunderte von Arbeitsstunden professional Jahr.
– Schnellere Repo-Scans
– Dynamisches Modell, das mit der Zeit lernt und besser wird
– Fähigkeit, neue Arten von Geheimnissen und halbgeheimen Daten zu finden
– Möglichkeit, verschiedene Dokumenttypen außerhalb des Codes zu scannen
– Integriert in unsere Automatisierungsplattform und dennoch flexibel genug, um innerhalb von Tagen statt Monaten schnell auf anderen Systemen bereitgestellt zu werden
– Läuft automatisch auf PR/MRs, sodass wir Hauptzweigstellen schützen können
– Unabhängig von der Codierungs-/Skriptsprache, sodass jede Codebasis gescannt werden kann
Wenn Sie mehr über unsere Automatisierungsdienste und/oder Alpaca AI Safety erfahren möchten, wenden Sie sich an unser Group, um mehr zu erfahren und eine Demo zu erhalten.
