Sprachmodelle wie ChatGPT bieten viele Möglichkeiten, brauchen aber auch viel Rechenleistung und Energie. Deutschland könnte sich laut VDE durch energieeffizientere Hardware und neuromorphes Computing zum KI-Energieeffizienzmeister  aufschwingen.

Das zweijährige Training des später so einschlagenden Sprachmodells GPT-3 hat laut Forschenden der University of California – Berkeley im Jahr 2020 satte 2.187 Megawattstunden an Energie verschlungen. Das entspricht etwa dem jährlichen Stromverbrauch von 380 deutschen Haushalten, wie dieser Bericht zeigt.

Darin enthalten sind sechs Ansätze für eine nachhaltige GenAI-Entwicklung:

• Right-Sizing der KI-Modelle
• Energieeffiziente Systeme
• Optimale Auslastung
• Intelligentes Datenmanagement
• Energieeffizienz durch Software
• Strom aus erneuerbaren Energien

Ein von der Informationstechnischen Gesellschaft (ITG) im Elektrotechnik- und IT-Verband VDE jüngst veröffentlichtes Positionspapier geht in eine ähnliche Richtung. Es macht zudem Vorschläge, wie Deutschland bei KI und GenAI einen Spitzenplatz im Bereich Energieeffizienz und Nachhaltigkeit erlangen könnte.

KI-Nutzen nachhaltig maximieren

„Insgesamt bieten große Sprachmodelle wie GPT-4 eine Vielzahl an Möglichkeiten, die derzeit wirtschaftlich weiter erschlossen werden. Es ist jedoch von entscheidender Bedeutung, die damit verbundenen Herausforderungen zu bewältigen“, heißt es in dem Positionspapier. Und nur so lasse sich der Nutzen der aktuellen Treiber im Bereich Künstliche Intelligenz auf nachhaltige Weise maximieren, zitiert heise online daraus.

Bei generativer KI mit Assistenten wie ChatGPT von OpenAI, Googles Gemini und Claude von Anthropic sei nicht nur die Entwicklung von Algorithmen und Softwareprodukten für bahnbrechende neue Anwendungen entscheidend. Ebenso wichtig seien auch Fortschritte im Bereich energieeffizienter Hardware im Zusammenspiel mit entsprechender Software.

„Es ist global die Rede davon, mehr Atomkraftwerke zu bauen, um den Energiehunger zu stillen“, erklärt Damian Dudek, ITG-Geschäftsführer und Co-Autor des Papiers. „Wir sprechen davon, die Datenverarbeitung effizienter zu gestalten und die Energieaufnahme nach unten zu bringen, damit KI nachhaltig genutzt werden kann.“

Von der Natur lernen und Moore’s Law überwinden

Sollte Deutschland es schaffen, sich mit solchen Ansätzen als KI-Energieeffizienzmeister an der Weltspitze zu positionieren, ließen sich „zum Nutzen der Gesellschaft völlig neue Marktpotenziale erschließen und die technologische Souveränität erhalten“, zitiert heise ihn weiter.

Das Problem ist: Das Trainieren großer Sprachmodelle benötigt wie gesagt „enorme Rechenressourcen, die heutzutage durch dedizierte Multi-Core-Systeme bereitgestellt werden“, heißt es in dem ITG-Papier. Gemeint sind Hochleistungs-Grafikprozessoren in speziellen Softwareumgebungen, „die eine hochparallele Verarbeitung mit großem Durchsatz und hoher Speicherbandbreite ermöglichen“.

Der klassische Ansatz, die Strukturgröße zu verkleinern und mehr Transistoren auf weniger Fläche unterzubringen, kommt gemäß dem Mooreschen Gesetz immer mehr an seine Grenzen. Aber es gibt dem ITG-Papier zufolge mehrere neue Ansätze, die Einschränkungen des klassischen Chipdesigns zu überwinden.

Neue Chip-Generationen für mehr KI-Energieeffizienz

Als sehr vielversprechende Ansätze gelten Quantencomputing sowie Lösungen im Bereich des neuromorphen Computings. Dabei handelt es sich um ein aus der Natur kopiertes Konzept, um in noch kleinere Dimensionen der Daten- und Signalverarbeitung vorzustoßen.

Deutschland sollte bei diesen Feldern „am Ball bleiben“ und die Führung übernehmen. Unlängst hat ITG auch angeregt, Photonik zu nutzen, um vor allem den Energieverbrauch von Rechenzentren zu senken. Wie heise berichtete, hat ein deutsches Startup namens Q.ant im November 2024 einen energieeffizienten photonischen KI-Chip vorgestellt. Solche Lösungsansätze sind ganz im Sinne des Elektronik- und IT-Verbands, der von der Forschergemeinde fordert, „für den gesellschaftlichen Nutzen und mit Weitblick auf die nationale und europäische wirtschaftliche Entwicklung und unsere technologische Souveränität“ die damit verbundenen Herausforderungen anzugehen.

 

Quelle Titelbild: Pexels / Google DeepMind