Nasz mózg uczy się znaczeń słów, których używamy z kontekstu poprzez skojarzenia i doświadczenie. Mimo że sztuczna sieć neuronowa nie doświadcza w dosłownym tego słowa znaczeniu, w jej strukturach słowa też mają swoje reprezentacje, a odpowiedzialne za to są embeddingi.

Promptujemy swoje zapytania do sztucznej inteligencji. Patrzymy na odpowiedź, widzimy słowa, zdania, język, w którym złożyliśmy zapytanie. Wszystko pasuje, ale za tym kryją się nie słowa i język, tylko jednostki obliczeniowe nazywane tokenami.

Gdy w sztucznych sieciach neuronowych jest ciągły napływ nowych danych, które zamieniane są zawsze na liczby, potrzebny jest ktoś, a raczej coś, co zdecyduje, które informacje przekazać dalej. I tym właśnie jest perceptron.

Sztuczne sieci neuronowe zmieniają naszą rzeczywistość. Zanim napiszesz kolejnego prompta, warto wiedzieć co stoi za mechanizmami generowania odpowiedzi. To fascynujący świat i wcale nie taki tajemniczy, jak mogłoby się wydawać. Zwyczajnie: matematyka, dane i wzorce.