Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, sięga samego rdzenia jego architektury. U podstaw leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw odbiera informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten obieg odtwarza się wielokrotnie, aż do uzyskania zamierzonego efektu.
Trzonem tego procesu jest model językowy, który odgrywa rolę własnego głosu konsultacyjnego agenta. To on odczytuje polecenia użytkownika, rozbija złożone zadanie na drobniejsze podzadania i sugeruje kolejność ich realizacji. Otoczenie modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy wymaga precyzyjnych danych spoza swojej wiedzy treningowej.
Interesującym składnikiem architektury jest tak zwana pamięć robocza, w której agent przechowuje tło bieżącego zadania. Dzięki niej nie gubi nici nawet wtedy, gdy procedura rozciąga się na wiele etapów i potrzebuje przeskakiwania między różnymi źródłami informacji. To właśnie ta zdolność odróżnia agenta od podstawowego skryptu, który wykonuje jedynie wcześniej ustaloną listę poleceń.
Osobną sprawą pozostaje sposób ewaluacji własnych działań. Odpowiednio zbudowany agent potrafi rozpoznać, że otrzymany wynik odbiega od zamierzonego, i wrócić do wcześniejszego etapu, by spróbować alternatywnej ścieżki. Taka samokorekta zbliża działanie maszyny do ludzkiego nawyku sprawdzania własnej pracy przed jej złożeniem.