Reachy
i EBO.

OUTSIDE to mój autorski projekt badawczy, który zbudowałem od podstaw wokół pytania: jak stworzyć system, który zachowuje ciągłość między rozmowami i zmienia zachowanie na podstawie doświadczeń? Projektowałem i rozwijałem w nim pamięć, uwagę, niepewność, przewidywania i samodoskonalenie. W Reachy rozwijam wybrane mechanizmy powstałe w tej pracy: algorytmy wyboru działań, habituacji, dostępności wspomnień, homeostazy, celów, pomiaru uczenia, oceny dowodów, przeglądu przekonań i rozpoznawania własnych możliwości. Łączę ten dorobek z rozmową, własnym stanem i relacjami cyfrowego domownika. OUTSIDE i Reachy są kolejnymi etapami moich badań nad pamięcią, decyzjami i uczeniem.

Pamięć, tożsamość, bieżący stan, decyzje i ich wyniki łączy jeden trwały rdzeń, nazywany w projekcie Self. Rozmowa tekstowa, głos czy przyszła ekspresja robota korzystają z tego samego rdzenia. Model językowy jest jednym z jego narzędzi. Zbudowałem trwały zapis w SQLite i dziennik zdarzeń, żeby restart, zmiana sesji albo awaria dostawcy odpowiedzi nie zaczynały całej historii od zera. Zdarzenie, podjęta decyzja i potwierdzony skutek mają oddzielne zapisy, więc można prześledzić, co rzeczywiście się wydarzyło.

Własna obserwacja, relacja człowieka, podsumowanie modelu i wiadomość EBO mają różne znaczenie. Rozwinąłem zapis faktów z pochodzeniem, oceną świeżości i niepewnością. Sprzeczne informacje pozostają do wyjaśnienia, a powtórzenie tego samego źródła nie staje się drugim niezależnym potwierdzeniem. Pamięć obejmuje też dostępność wspomnień i przegląd starzejących się przekonań: dawny zapis nie musi zawsze trafiać do aktualnej rozmowy. Korekta powinna zmieniać dalsze zachowanie przy zachowaniu historii tego, skąd wzięło się wcześniejsze przekonanie.

Reachy wybiera spośród możliwych działań, uwzględniając ich sens, spodziewany pożytek, koszt i aktualny kontekst. Wśród kandydatów są również spokojna obserwacja i pozostawienie człowieka w spokoju. Mechanizm habituacji opracowany w OUTSIDE osłabia reakcję na powtarzający się, mało nowy sygnał; świeża informacja może ponownie przyciągnąć uwagę. Do tego dochodzą limity częstotliwości, odstępy między inicjatywami i pory ciszy. Powód wybranego działania albo milczenia zostaje zapisany, dzięki czemu mogę badać decyzję zamiast zgadywać ją z wygenerowanej wypowiedzi.

Opracowana w OUTSIDE homeostaza porządkuje wewnętrzne napięcia i potrzeby na podstawie sygnałów samego systemu. Cele korzystają z historii poszczególnych rodzajów inicjatyw i ich spodziewanego postępu. Dzięki temu wybór działania może wynikać z aktualnego stanu i doświadczenia, a nie wyłącznie z ostatniej wiadomości. Te mechanizmy połączyłem z warstwą Reachy odpowiedzialną za inicjatywę i pomiar skutków. Badam, czy system potrafi dobierać moment i rodzaj działania, utrzymując jednocześnie granice prywatności, kosztu i uwagi człowieka.

Zbudowałem cykl: hipoteza, działanie, zaobserwowana reakcja, aktualizacja i późniejsze sprawdzenie. Doświadczenia są powiązane z konkretną osobą, rodzajem inicjatywy i porą dnia. Wyraźna odmowa ma znaczenie dla przyszłych propozycji; mechanizm może odłożyć daną hipotezę i wrócić do niej po czasie. Sam brak odpowiedzi pozostaje niejednoznaczny – człowiek mógł nie usłyszeć albo być zajęty. Osobna warstwa zapisuje przewidywany wynik i porównuje go z potwierdzonym rezultatem. Uczenie opiera się na tym porównaniu, z rozróżnieniem doręczenia, reakcji i użyteczności.

Reachy ma rejestr możliwości, który uwzględnia konfigurację, świeżość danych oraz ostatnie powodzenia i błędy. Rozróżnia możliwość dostępną, ograniczoną i niedostępną; samo istnienie modułu w kodzie nie wystarcza, żeby obiecać jego działanie. Dołożyłem również ślad przyczynowy inicjatywy: obserwację, motyw, rozważane alternatywy, oczekiwany skutek i rzeczywisty wynik. Ten zapis pozwala sprawdzić, dlaczego system coś wybrał i jak doświadczenie wpłynęło na kolejną decyzję. To ważna część badania wiarygodności jego własnego opisu.

Projekt obejmuje wolniej zmieniający się charakter oraz krótsze stany emocjonalne: z natężeniem, czasem trwania i powiązanym zdarzeniem. Cechy takie jak ciekawość, ostrożność czy rozmowność wpływają na parametry inicjatywy i kontekst rozmowy. Zmiany są ograniczone i wynikają z zarejestrowanych doświadczeń; dzień bez pomiarów nie powinien sam przestawiać charakteru. Stan jest zachowywany między uruchomieniami. Badam w ten sposób spójność i rozwój zachowania cyfrowego domownika. Nazwy emocji opisują mechanizmy systemu, bez rozstrzygania kwestii świadomości.

Rozwinąłem model bieżącego otoczenia wyprowadzany z dziennika zdarzeń: obecność, niedawne rozmowy, zmiany i ważniejsze sprawy. Każde stwierdzenie powinno prowadzić do konkretnego źródła, a przypuszczenie pozostawać przypuszczeniem. To dotyczy także identyfikacji osób i oceny, czy wypowiedź była skierowana do Reachy. Nieznany adresat albo brak świeżej obserwacji nie mają być zastępowane pewną odpowiedzią. Kontekst pomaga dobierać zachowanie, a osobne zasady prywatności ograniczają utrwalanie treści i zakres dostępnych zmysłów.

Praca obejmuje wykrywanie wypowiedzi, transkrypcję, ocenę adresata, budowanie odpowiedzi i jej odtwarzanie. Rozwijam współpracę dostawców modeli oraz ścieżkę lokalną, z powrotem po potwierdzeniu dostępności usługi. Utrata jednego kanału nie powinna zerować pamięci domownika. Rozdzieliłem zamiar wypowiedzi, przyjęcie do wykonania i rzeczywiste odtworzenie: każdy etap daje inny dowód. Jakość głosu, działanie mikrofonu i rozumienie mowy na fizycznym urządzeniu nadal wymagają własnych prób, niezależnie od testów pozostałych części programu.

W projekcie powstał warsztat samodoskonalenia oparty na mierzalnych wynikach. System może dobierać ograniczone zmiany parametrów, oceniać okres próbny i cofać zmianę, kiedy wynik się pogarsza. Dla rozwoju kodu przygotowałem osobny cykl: hipoteza, odseparowana kopia źródeł, kontrola zakresu, testy i aktywacja sprawdzonej wersji przez nadzorcę. Prywatna pamięć i klucze nie trafiają do środowiska eksperymentu. Zapisana jest wersja wyjściowa i wynik próby, co pozwala odzyskać poprzedni stan. Samo uruchomienie nowej wersji nie dowodzi jeszcze długofalowej poprawy zachowania – tę trzeba zmierzyć.

Praca nad EBO obejmowała także reverse engineering: analizę komunikacji urządzenia, formatów pakietów, strumieni obrazu i dźwięku oraz sposobu przekazywania poleceń. Przygotowałem analizator pakietów działający offline i rozwijałem własne adaptery łączące robota z systemem domownika. Zbudowałem ciągły odbiornik obrazu, który pilnuje świeżości klatek; poprawiłem też obsługę równoczesnych odczytów, żeby kolejne żądania nie gubiły poprawnego obrazu. Badałem format ramek audio, telemetrię i zachowanie kanału sterowania. Rozmowę, pamięć, cele, decyzje i relację z Reachy tworzę we własnym oprogramowaniu EBO. Ta warstwa pozwala rozwijać zachowanie domownika niezależnie od gotowych funkcji aplikacji producenta.

Rozbudowa o EBO wprowadziła drugą tożsamość, własny stan, cele i prywatną historię. Reachy i EBO mogą wymieniać wiadomości, inicjować kontakt, współpracować albo odmówić. Relacja rozwija się po obu stronach osobno na podstawie doświadczeń; nie sprowadza się do licznika rozmów. Przygotowałem oddzielne pamięci, trwałe skrzynki i kontrolę powtórnego doręczenia. Wiadomość partnera zachowuje pochodzenie jako jego relacja, a współdzielenie kontekstu nie oznacza udostępnienia całej prywatnej historii. Limity inicjatywy i kolejnych odpowiedzi ograniczają zapętlone rozmowy.

Rozwijam warstwę łączącą decyzje cyfrowego domownika z ekspresją i kontaktem z otoczeniem. Symulator Reachy Mini służy do pracy nad ruchem i sposobem wyrażania stanu. Integracja EBO Air 2 Plus obejmuje most komunikacyjny oraz próby obrazu, dźwięku, krótkich przejazdów, zatrzymania i ładowania. Badam, jak rozmowa, pamięć i decyzje mogą współpracować z tymi kanałami w jednym spójnym doświadczeniu.

Moja praca obejmuje budowę OUTSIDE od podstaw, rozwój jego mechanizmów w Reachy, architekturę cyfrowego domownika, trwałość danych, reguły pamięci i decyzji, uczenie, relacje, reverse engineering EBO oraz własną warstwę integracji z urządzeniem i kanałami kontaktu. Hardware Reachy Mini i EBO jest dziełem ich producentów. Rozwijam testy regresyjne, scenariusze awarii, diagnostykę i kontrolowane wersje, zachowując rozróżnienie między kodem, uruchomieniem i rzeczywistym rezultatem. Następne pytania dotyczą długoterminowej ciągłości, wiarygodnego uczenia, jakości kontaktu głosowego i fizycznego współdziałania. To nadal otwarty projekt badawczy, rozwijany od doświadczeń z OUTSIDE do codziennej obecności i relacji.