Künstliche Intelligenz

Don’t Believe the Hype

Kommentare

  1. Avatar von ClaudiaBerlin

    Ich den­ke nicht, dass die Ent­wick­lung der LLM-Kis schon an ihr Ende gekom­men ist – mal abge­se­hen von dem zuneh­men­den Ein­bau für vie­ler­lei Zwe­cke, ins­be­son­de­re auch in Roboter.

    For­schun­gen gehen in Rich­tung „ler­nen­de KI“, die – anders als bis­her, wo sie grund­sätz­lich durch ihre Trai­nings­läu­fe beschränkt sind – mit­tels neu­ar­ti­ger Kon­zep­te für neu­ro­na­le Net­ze fähig wer­den sol­len, sich ler­nend wei­ter­zu­ent­wi­ckeln. Der Ansatz wird in die­sem Video erläu­tert und meint etwas grund­sätz­lich ande­res als das „Nach­rei­chen“ von Daten, die die Trai­nings­da­ten ergänzen:

    The future of AI looks like THIS (& it can learn infinitely)
    https://www.youtube.com/watch?v=biz-Bgsw6eE

    Gesucht bzw. erforscht wer­den Kon­zep­te, die über eine Neu­ro­plas­ti­zi­tät ver­fügt wie mensch­li­che Gehir­ne, sich also selbst­ler­nend wei­ter ent­wi­ckeln – z.B. mit­tels „Liquid neu­ral net­works“, die im Video vor­ge­stellt werden.

    Auch die extrem schlech­te Ener­gie­ef­fi­zi­enz aktu­el­ler Sys­tem wird sehr anschau­lich prä­sen­tiert: Das Trai­ning von LLMs ver­braucht expo­nen­ti­ell mehr Ener­gie, je mehr Para­me­ter das neu­ro­na­le Netz ent­hält. So soll das Trai­ning von ChatGPT4 stol­ze 41037 MWh Strom ver­braucht haben, was dem Monats­ver­brauch von 47000 Haus­hal­ten in den USA ent­spricht. (Menschl. Gehirn: 175 kWh/​Jahr) Auf die­se Wei­se kann es also kein groß­ar­ti­ges Wachs­tum mehr geben, denn der Res­sour­cen­ver­brauch wür­de ins Uner­mess­li­che steigen. 

    Bei­de Pro­ble­me sol­len durch die neu­en Kon­zep­te gelöst wer­den, die aller­dings erst „dis­ku­tiert wer­den“. Ob sie tat­säch­lich Rea­li­tät wer­den wird, wer weiß? Wenn es aller­dings hier Fort­schrit­te gibt, sind und blei­ben mensch­li­che Gehir­ne dafür unverzichtbar!

  2. Avatar von Steffen Voß
    Steffen Voß

    Du fasst das Pro­blem noch ein­mal mit ande­ren Wor­ten zusam­men: Die aktu­el­len Kon­zep­te sto­ßen an ihre Gren­zen – neue sucht man noch. Gleich­zei­tig ver­brau­chen die aktu­el­len Ansät­ze irre Men­gen an Strom, Was­ser und Res­sour­cen für Hard­ware. Trotz­dem wird der Kram schon über­all ein­ge­baut, als gebe es kei­ne Klimakatastrophe.

    Du bist nur opti­mis­ti­scher, dass Big Tech Lösun­gen für die selbst­ge­mach­ten Pro­ble­me fin­det, bevor das Kli­ma end­gül­tig kollabiert.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert