Czas czytania artykułu
Inspiracja mózgiem
Sztuczne sieci neuronowe to systemy komputerowe inspirowane strukturą ludzkiego mózgu, które za pomocą obliczeń matematycznych w wielowarstwowych strukturach połączonych elementów (sztucznych neuronów) analizują dane i uczą się rozpoznawać występujące w nich wzorce.
Sztuczne neurony na start
Sztuczne sieci składają się z wielu prostych jednostek przetwarzających, zwanych sztucznymi neuronami. Ich podstawowym, wręcz kultowym już w historii nauki modelem jest tzw. perceptron. W pewnym uproszczeniu można je porównać do biologicznych neuronów, gdyż odbierają sygnały, przekształcają je i przekazują dalej. Tymi sygnałami są dane. Każdy sygnał otrzymuje określoną wagę, która określa jego znaczenie dla ostatecznej decyzji sieci. W trakcie uczenia się wagi te ulegają zmianie, dzięki czemu sieć zaczyna rozpoznawać wzorce i reagować coraz trafniej.
Czym są te wagi?
Wagi to współczynniki liczbowe, które określają, jak istotny jest dany sygnał dla ostatecznej decyzji sieci. Jeśli jakaś waga jest bliska zeru, sieć niemal ignoruje powiązaną z nią informację. Jeśli jest wysoka, to ta informacja ma znacznie większy wpływ na wynik.
Wewnątrz perceptronu dochodzi do dwóch kluczowych operacji matematycznych, czyli sumowania i aktywacji. Sumowanie oznacza, że wszystkie wejściowe sygnały są mnożone przez swoje wagi, a następnie dodawane do siebie. Do tej sumy zazwyczaj dodawany jest jeszcze jeden stały element, czyli tzw. bias (składnik stały), który pozwala przesunąć próg aktywacji neuronu, czyniąc go bardziej lub mniej skłonnym do przekazywania sygnału dalej.
Następnie ta skumulowana wartość trafia do funkcji aktywacji. To matematyczny filtr, który decyduje, czy neuron powinien „odpalić” (przekazać sygnał dalej), a jeśli tak, to z jaką siłą. W pierwotnych modelach perceptronu działało to zero-jedynkowo (przekracza próg = 1, nie przekracza = 0), zupełnie jak biologiczny neuron generujący impuls nerwowy. Współcześnie stosuje się funkcje bardziej płynne, które pozwalają sieci uczyć się niezwykle złożonych zależności.
W trakcie uczenia się sieci wagi i biasy ulegają ciągłej zmianie. Proces ten przypomina precyzyjne dostrajanie wielu elementów jednocześnie: algorytm sprawdza, jak bardzo wynik sieci odbiega od oczekiwanego rezultatu, a następnie koryguje poszczególne wagi. Dzięki tysiącom takich powtórzeń sieć stopniowo uczy się coraz trafniej rozpoznawać wzorce i zależności.
Mniej niż słowo
Człowiek promptuje, czyli tworzy zapytania do sieci. Zanim jednak system zacznie przetwarzać zdanie i generować odpowiedź, musi najpierw podzielić je na mniejsze części. Te elementy nazywane są tokenami. Mogą to być całe słowa, ich fragmenty, a czasem nawet pojedyncze znaki. To swoiste klocki, z których zbudowany jest język widziany przez sieć neuronową.
A jakie to ma znaczenie?
Każdy z tych klocków (tokenów) otrzymuje najpierw swój unikalny identyfikator liczbowy, który następnie jest zamieniany na embedding (osadzenie). To fascynujący proces matematyczny: token przestaje być ciągiem liter, a staje się listą liczb reprezentującą jego relacje z innymi pojęciami w wielowymiarowej przestrzeni matematycznej.
Dzięki temu system może obliczać podobieństwa między znaczeniami słów. W tym cyfrowym świecie pojęcia takie jak pies i szczeniak znajdują się bardzo blisko siebie, podczas gdy słowa zupełnie niezwiązane, jak kaloryfer, dryfują w odległych rejonach.
Samo zrozumienie pojedynczych słów to jednak za mało, by pojąć sens całego pytania. Gdy embeddingi trafiają głębiej do wnętrza sieci neuronowej, do gry wchodzą wspomniane wagi – dynamiczne połączenia między sztucznymi neuronami. To one decydują, które słowa w prompcie są najważniejsze i jak wpływają na siebie nawzajem (na przykład, czy słowo zamek oznacza w tym kontekście budowlę, czy suwak w kurtce).
Dopiero to połączenie matematycznych definicji słów (embeddingów) oraz logiki ich łączenia (wag) sprawia, że sztuczne sieci neuronowe nie tylko przetwarzają surowe dane, ale rozpoznają wzorce i zależności, tworząc z nich głęboki, zrozumiały sens.
Autor: Magdalena Siatkowska
