TU Graz und Intel demonstrieren Signifikante Energieeinsparungen durch neuromorphe Hardware

Eine Studie der TU Graz in Zusammenarbeit mit Intel zeigt, dass die neuromorphe Technologie, welche das menschliche Gehirn zum Vorbild hat, für grosse Deep-Learning-​Netzwerke bis zu sechzehnmal energieeffizienter ist als andere AI-Systeme. Die Forschungsergebnisse basieren auf dem neuromorphen Forschungschip Loihi der Intel Labs.

Das Institut für Grundlagen der Informationsverarbeitung der TU Graz und der Intel Labs haben erstmals experimentell nachgewiesen, dass ein grosses neuronales Netz Sequen­zen (wie beispielsweise Sätze) auf neuromorpher Hardware um das Vier- bis Sechzehnfache effizienter verarbeiten kann als auf herkömmlicher Hardware. Die neuen Forschungsergebnisse basieren auf dem neuro­morphen Forschungschip Loihi (1. Generation) der Intel Labs. Loihi nutzt Erkenntnisse der Neurowissenschaften, um Chips nach dem Vorbild des biologischen Gehirns zu schaffen.

Das menschliche Gehirn als Vorbild

Smarte Maschinen und intelligente Computer, die selbstständig Objekte und Beziehungen zwischen verschiedenen Objekten erkennen und daraus schlussfolgern können, sind Gegenstand der weltweiten Artificial-Intelligence(AI)-Forschung. Der Energieverbrauch ist ein Haupthindernis auf dem Weg zu einer breiteren Anwendung solcher AI-Methoden. Einen Schub in die richtige Richtung erhofft man sich von neuromorpher Technologie. Sie hat das menschliche Gehirn zum Vorbild, das Weltmeister in Sachen Energieeffizienz ist: Für das Verarbeiten von Informationen verbrauchen seine hundert Milliarden Neuronen nur etwa 20 Watt und damit nicht wesentlich mehr Energie als eine durchschnittliche Energiesparlampe.

Bildergalerie

In seiner Arbeit konzentrierte sich das Team von TU Graz und Intel Labs auf Algorithmen, die mit zeitlichen Prozessen arbeiten. So musste das System beispielsweise Fragen zu einer zuvor erzählten Geschichte beantworten und die Beziehungen zwischen Objekten oder Personen aus dem Kontext erfassen. Die getestete Hardware bestand aus 32 Loihi-Chips.

Loihi-Chip: bis zu sechzehnmal energie­effizienter als nicht neuromorphe Hardware

«Unser System ist vier- bis sechzehnmal energieeffizienter als andere AI-Modelle auf herkömmlicher Hardware», so Philipp Plank, Doktorand am TU-Graz-Institut für Grundlagen der Informationsverarbeitung.

Plank erwartet weitere Effizienzsteigerungen, wenn diese Modelle auf die nächste Generation der Loihi-Hardware migriert werden, die die Leistung der Chip-zu-Chip-Kommunikation deutlich verbessert.

«Intels Loihi-Forschungschips versprechen Fortschritte in der AI, insbesondere durch die Senkung der hohen Energiekosten», sagte Mike Davies, Direktor des Intel Neuromorphic Computing Lab. «Unsere Arbeit mit der TU Graz liefert weitere Beweise dafür, dass die neuromorphe Technologie die Energieeffizienz heutiger Deep-Learning-Workloads verbessern kann, indem ihre Implementierung aus der Perspektive der Biologie neu überdacht wird.»

Nachahmung des menschlichen Kurzzeitgedächtnisses

In ihrem Konzept bildete die Gruppe eine vermutete Methode des menschlichen Gehirns nach, wie Wolfgang Maass, Doktor­vater von Philipp Plank und emeritierter Professor am Institut für Grundlagen der Informationsverarbeitung, erklärt: «Simulationen lassen darauf schliessen, dass ein Ermüdungsmechanismus einer Untergruppe von Neuronen für das Kurzzeitgedächtnis wesentlich ist.»

Das Netzwerk muss nur testen, welche Neuronen gerade ermüdet sind, um zu rekonstruieren, welche Informationen es vorher verarbeitet hat. Mit anderen Worten: Vor­herige Information wird in Nichtaktivität von Neuronen gespeichert, und Nichtaktivität verbraucht die geringste Energie.

Die kompletten Forschungsergebnisse wurden unter dem Titel «A Long Short-Term Memory for AI Applications in Spike-based Neuromorphic Hardware» in Nature Machine Intelligence publiziert.

(ID:48446221)