Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, sięga samego rdzenia jego architektury. U podstaw leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw rejestruje informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten obieg powtarza się kilkakrotnie, aż do osiągnięcia zamierzonego efektu.
Sercem tego procesu jest model językowy, który odgrywa rolę własnego głosu doradczego agenta. To on odczytuje polecenia użytkownika, rozbija złożone zadanie na mniejsze podzadania i sugeruje kolejność ich realizacji. Otoczenie modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy wymaga konkretnych danych spoza swojej wiedzy treningowej.
Ciekawym składnikiem architektury jest tak zwana pamięć robocza, w której agent przechowuje tło bieżącego zadania. Dzięki niej nie traci wątku nawet wtedy, gdy proces rozkłada się na kilka etapów i potrzebuje przeskakiwania między różnymi źródłami informacji. To dokładnie ta umiejętność wyróżnia agenta od prostego skryptu, który wykonuje jedynie wcześniej zapisaną listę poleceń.
Osobną kwestią pozostaje sposób oceny własnych działań. Dobrze zbudowany agent potrafi rozpoznać, że otrzymany wynik nie zgadza się od zamierzonego, i cofnąć się do wcześniejszego etapu, by spróbować alternatywnej ścieżki. Taka autokorekta zbliża działanie maszyny do ludzkiego nawyku sprawdzania własnej pracy przed jej oddaniem.