Freedman International to międzynarodowy partner marketingowy wielu globalnych i dynamicznie rosnących marek. Jedną z jego usług jest dostosowywanie globalnych kampanii reklamowych do rynków lokalnych. Marka przekazuje jedną kampanię główną, a Freedman zwraca jej wersje, które w każdym kraju emisji brzmią, wyglądają i trafiają do odbiorców właściwie, na każdej platformie i w każdym formacie.
To praca wymagająca kompetencji, a zarazem w dużej części powtarzalna. Na każdym rynku trzeba dostosować teksty, sprawdzić dopasowanie kulturowe grafik oraz przygotować i zweryfikować każdy format pod kątem reguł samej marki. Freedman postanowił zbudować Conductor, pipeline, w którym AI przejmuje przygotowanie materiałów, a producenci zachowują każdą istotną decyzję. Soba Labs dołączyło do zespołu technicznego Freedman w czerwcu 2026 roku w ramach współpracy badawczo-rozwojowej i w ciągu kolejnych czterech miesięcy zbudowało rdzeń rozumowania tego systemu: system wieloagentowy na Amazon Bedrock, zbudowany z użyciem LangChain, LangGraph i Langfuse, technologii, w których się specjalizujemy.
Wyzwanie
Lokalizacja kampanii nie jest jednym zadaniem. To łańcuch ocen, z których każda zależy od poprzedniej:
- Czego wymaga brief, łącznie z regułami marki, których nikt w briefie nie zapisuje?
- Które elementy projektu głównego niosą znaczenie, a które można bezpiecznie zmienić?
- Co zostanie źle odebrane na danym rynku i dlaczego?
- Czy każdy gotowy materiał nadal respektuje markę po przeskalowaniu na każdą platformę?
Pojedynczy prompt nie jest w stanie tego wszystkiego objąć. Błędna decyzja na wczesnym etapie, na przykład źle odczytany brief, po cichu przenosi się na każdy rynek i każdy format. Marki Freedman mają ponadto tysiące stałych reguł. System musiał odnajdywać reguły mające zastosowanie do danego zlecenia, rozumować na ich podstawie z użyciem retrieval-augmented generation, a wynik każdego kroku musiał być jawny, weryfikowalny i wiążący dla kolejnych kroków. Na tym polega różnica między agentowym przepływem pracy, na którym firma może polegać, a demonstracją.
Dlaczego lokalizacja opiera się automatyzacji
Większość technologii marketingowych pomaga człowiekowi szybciej edytować materiał kreatywny z poziomu panelu. To przyspiesza pracę rąk, ale ocena zostaje tam, gdzie była: u producenta, który zna markę, rynek i platformę. Lokalizacja to przede wszystkim ocena. Nagłówek, który działa w jednym języku, w innym okazuje się za długi, gest lub kolor może znaczyć coś innego po drugiej stronie granicy, a drobny druk, który na jednym rynku jest opcjonalny, na kolejnym jest wymagany.
Te oceny rzadko są zapisane w jednym miejscu. Żyją w wytycznych marki, w dawnych kampaniach, w wątkach z uwagami i w głowach doświadczonych producentów. Założeniem Conductora było to, że jeśli uda się te reguły uchwycić i utrzymywać aktualne, AI może przygotowywać pracę zgodnie z nimi, a ludzie mogą poświęcić czas decyzjom, które naprawdę ich wymagają. Duża część naszej pracy polegała na tym, by to założenie dało się sprawdzić.
Przebieg współpracy
Prace rozpoczęły się w czerwcu od dwóch dni warsztatów pogłębionych, jednego online i jednego stacjonarnie w Londynie, podczas których wraz z architektem Freedman ustaliliśmy zakres i podejście techniczne. Realizacja przebiegła następnie w pięciu sprintach o stałym zakresie, po których współpraca się zakończyła. W ich trakcie pracowaliśmy nad wyszukiwaniem reguł, pętlą informacji zwrotnej, analizą briefu, zapewnieniem jakości i orkiestracją.
Architekt Freedman odpowiadał za projekt i każde wdrożenie poza środowisko deweloperskie. Soba budowało zgodnie z jego specyfikacjami, a każdy sprint zamykała dopiero akceptacja ze strony Freedman.
Jak pracowaliśmy razem
Soba Labs działało jako część zespołu technicznego Freedman, a nie jako dostawca przekazujący gotowe komponenty. Kilka nawyków sprawiło, że to się sprawdziło:
- Codzienna pisemna aktualizacja. Każdy dzień pracy kończył się krótką notatką o tym, co ruszyło, co jest zablokowane i co dalej, dzięki czemu Freedman mógł śledzić postępy bez potrzeby organizowania spotkania.
- Decyzje na piśmie. Rozmowa projektowa potrafiła zmienić plan w ciągu godziny. Każdą decyzję zapisywaliśmy w miejscu widocznym dla całego zespołu, a otwarte zadania czytaliśmy ponownie po każdej rozmowie, a nie przed nią.
- Przeglądy zaczynające się od celu. Przeglądy projektu nie kończyły się na poprawianiu dokumentu. Wracały do tego, czemu służy każdy krok, i nieraz przenosiły część pracy w inne miejsce przepływu albo całkiem ją usuwały.
- Prosta pierwsza wersja z powodem, by do niej wrócić. Oba zespoły łączyła niechęć do nadmiernej inżynierii. Budowaliśmy najprostszą wersję, w którą wierzyliśmy, nazywaliśmy sygnał, który pokazałby, że nie wystarcza, i zmienialiśmy ją, gdy ten sygnał się pojawiał.
Baza wiedzy, której agenci mogą ufać
Agent jest tak dobry, jak reguły, które wyszukuje. Baza reguł Freedman rozrosła się do tysięcy aktywnych reguł. Wiele z nich nie było powiązanych ze spójnym kluczem, więc ta sama myśl mogła występować kilkukrotnie pod różnymi etykietami, a wyszukiwanie zwracało zbyt wiele wyników. Nadmiar kontekstu szkodzi tak samo jak jego niedobór; ten problem opisujemy w haśle context engineering.
Wspólnie z ekspertami dziedzinowymi Freedman zaprojektowaliśmy ustrukturyzowaną bazę reguł bez duplikatów, zatwierdzoną przez Freedman przed użyciem, która znacząco ograniczyła szum w wynikach wyszukiwania. Każde zlecenie przypinało dokładny zestaw reguł, na którym zostało wykonane, dzięki czemu każdą decyzję można było prześledzić do reguły, która za nią stoi. To działający ślad audytowy, a nie dziennik, którego nikt nie czyta.
Ludzie decydują, pipeline przygotowuje
Zasada projektowa była prosta: AI przygotowuje, człowiek podejmuje decyzję. Pipeline prowadził kampanię od briefu do spakowanych materiałów, z akceptacją człowieka w kluczowych punktach decyzyjnych, gdzie producent zatwierdzał, edytował lub odsyłał pracę do poprawy. Liczba ponownych prób była ograniczona stałą polityką ponawiania, a wyniki, których system nie potrafił rozstrzygnąć, trafiały do operatora zamiast po cichu przechodzić dalej. To wzorzec human-in-the-loop, zastosowany w każdym miejscu, w którym błąd byłby kosztowny, i zgodny z NIST AI Risk Management Framework.
Jedna z wczesnych decyzji miała większe znaczenie niż większość pozostałych. Pierwotny projekt zakładał, że model sam oceni swoją pewność. Zastąpiliśmy to deterministyczną bramką pewności zbudowaną z mierzalnych sygnałów, takich jak zgodność reguł i to, czy każde twierdzenie wskazuje swoje źródło. Opinii modelu o samym sobie nie da się poddać audytowi; bramkę opartą na regułach tak. Podejście to wyjaśniamy w artykule deterministic confidence gates, a ta sama idea kieruje niepewne odpowiedzi do klinicystów w naszym case study o edukacji pacjentów Shen.ai.
Inżynieria pod produkcję, a nie pod demo
Pipeline musiał sprostać rzeczywistym materiałom kampanii: dużym warstwowym projektom głównym, regułom dla dziesiątek rynków oraz odpowiedziom modelu, które nigdy nie są dwa razy dokładnie takie same. Duża część pracy polegała na zapewnieniu niezawodności, czyli na dyscyplinie, którą nazywamy harness engineering:
- Testy i śledzenie. Usługa rozumowania była objęta testami automatycznymi, a każde wywołanie modelu było śledzone w Langfuse wraz z danymi wejściowymi, wynikami i kosztem, dzięki czemu błędną odpowiedź można było zdiagnozować po fakcie. Tak w praktyce wygląda LLM observability.
- Odporność. Ograniczona liczba ponownych prób przy zerwanych połączeniach i błędach transportu modelu oraz normalizacja, która zapobiega odrzucaniu nieistotnie różniących się wyników przez ścisłą kontrolę.
- Szybkość tam, gdzie ma znaczenie. Ocena kulturowa początkowo przebiegała rynek po rynku, zbyt wolno dla największych rynków. Równoległe uruchamianie ocen sprawiło, że nawet największy rynek zmieścił się w swoim limicie czasu.
- Naprawa wyników modelu u źródła. Structured output z modelu wizyjnego zmienił się z przeważnie nieprawidłowego w konsekwentnie prawidłowy po poprawce schematu i promptu.
Efekty prac
- Pipeline działający od początku do końca. W przebiegach certyfikacyjnych nowe zlecenia przeszły wszystkie kroki, z zaliczonym zapewnieniem jakości i zamkniętymi materiałami społecznościowymi na wiele rynków i w wielu formatach.
- Głębia analizy kulturowej. Każda ocena rynku ujawniała udokumentowane ryzyka, każde powiązane ze źródłem, a ryzyka blokujące były oznaczane dla producenta. Oparcie każdego twierdzenia na źródle to główna ochrona przed halucynacjami.
- Ustrukturyzowana baza reguł. Bez duplikatów, zatwierdzona przez Freedman i możliwa do ponownego wykorzystania poza tym pipeline’em. Freedman widzi dla niej dalsze zastosowanie w kulturowych badaniach rynku.
Wspólne wnioski
Ta współpraca wiele nauczyła oba zespoły, a oto wnioski, które przenosimy do każdego projektu wieloagentowego.
Należy zbudować jeden krok w całości, zanim rozpocznie się kolejny. Komponenty Conductora budowano i testowano warstwa po warstwie, zgodnie ze specyfikacją, a łączono je ze sobą późno. Niektóre luki ujawniły się dopiero wtedy, gdy uruchomiono cały przepływ, a strojenie, które mogło się rozpocząć wiele miesięcy wcześniej, czekało na powstanie orkiestracji. Budowanie każdego kroku od początku do końca, razem z interfejsem, rozumowaniem i połączeniami, pozwala klientowi testować rzeczywistą pracę od pierwszego sprintu. Obecnie w ten sposób realizujemy każdy projekt wieloagentowy i to pierwsza rzecz, którą sprawdzamy w przeglądzie gotowości na AI.
Sprawdzaj pracę tam, gdzie powstaje. Gdy krok coś wytwarza, najtańszym miejscem na weryfikację jest ten sam krok, a nie krok dwa etapy dalej. Każdy błąd wychwycony przez późną kontrolę kosztuje pełną pętlę poprawek, dlatego zanim ktokolwiek zbuduje kontrolę, pytamy, dlaczego ma się znaleźć właśnie w tym miejscu.
Krok jest gotowy, gdy operator może z niego korzystać, a nie gdy przechodzą jego testy. Testy komponentów działają na danych testowych i symulowanych ekranach. Testy pilotażowe Freedman przechodziły rzeczywistą ścieżkę: przesłanie pracy, wyjście, powrót, ponowna próba i porównanie ekranu z danymi, które za nim stoją. Takie testy wychwytują to, czego nie widzą testy komponentów. Obecnie każdy krok przechodzi rzeczywistą ścieżkę operatora, na prawdziwych materiałach klienta, zanim uznamy go za ukończony.
Pilotaż sprawdza ocenę w równym stopniu co oprogramowanie. Baza reguł jest tak dobra, jak reguły, które ludzie w niej zapisują, i oba zespoły wspólnie wypracowały, jak wygląda dobra reguła. Nauczyliśmy się traktować ekrany przeglądu jako sposób na naukę pisania tych reguł, a nie tylko jako bramki typu zaliczone lub nie.
Mierz czas, który ma znaczenie. Całkowity czas trwania i czas generowania przez model to różne liczby. Gdy któryś rynek wydawał się wolny, większość oczekiwania okazywała się kolejką, a nie pracą modelu. Rozdzielenie tych dwóch wartości, zanim uznaliśmy opóźnienie za błąd, uchroniło nas przed strojeniem niewłaściwej rzeczy.
W planach jest własny system wieloagentowy? Zapraszamy do kontaktu lub do zapoznania się z naszymi pozostałymi case studies.