Dobra baza wiedzy czasem powinna powiedzieć „nie wiem”

Pokazałem na szkoleniu prosty eksperyment. Dodałem do notatnika źródło z wymyśloną informacją o kolorze siedziby firmy. Potem zapytałem o ten kolor. Narzędzie odpowiedziało na podstawie dodanej notatki.

Ograniczenie bazy wiedzy do właściwych źródeł jest częścią jakości odpowiedzi.

Następnie wyczyściłem rozmowę, wyłączyłem to źródło z użycia i zadałem pytanie ponownie. Tym razem dostałem informację, że w dostępnych materiałach nie ma odpowiedzi.

Ten drugi wynik był równie ważny jak pierwszy. Pokazywał, że w tej próbie narzędzie uszanowało granicę dostępnego materiału. Nie próbowało ratować rozmowy dowolnym kolorem.

Po co bazie wiedzy granica

W pracy z własną bazą dokumentów właśnie tego często potrzebujemy. Jeśli pytamy o ustalenia zespołu, warunki usługi albo procedurę, ogólnie prawdopodobna odpowiedź może być bezużyteczna. Chcemy wiedzieć, co wynika z konkretnych materiałów.

Narzędzia takie jak Gemini Notebook, znany wcześniej jako NotebookLM, pozwalają wybierać źródła wykorzystywane w rozmowie. To praktyczna forma kontroli zakresu. Nie daje jednak gwarancji poprawności. Narzędzie nadal może źle odczytać dokument, pominąć wyjątek albo wyciągnąć zbyt daleki wniosek. A jeśli samo źródło jest błędne, wierne przytoczenie go nie naprawi rzeczywistości.

Jak przygotować i sprawdzić bazę wiedzy

Dlatego przy tworzeniu bazy wiedzy zacząłbym od jakości zbioru: aktualnych wersji, jasnych nazw i usunięcia dokumentów, które nie powinny obowiązywać. Duża liczba plików nie jest celem. Stary regulamin dodany obok nowego może skomplikować odpowiedź zamiast ją wzbogacić.

Przydatny test wygląda tak: przygotuj pytanie z odpowiedzią w źródłach, pytanie wymagające połączenia dwóch fragmentów oraz pytanie, na które materiały nie pozwalają odpowiedzieć. Sprawdź wszystkie trzy wyniki, razem z odwołaniami do dokumentów.

Brak odpowiedzi w ostatnim przypadku jest pożądanym zachowaniem. Pozwala zauważyć lukę i zdecydować, kto ma ją uzupełnić. W firmie może to oznaczać dopisanie procedury albo przekazanie sprawy osobie uprawnionej do podjęcia decyzji.

Eksperyment z kolorem był banalny celowo. Łatwo było zobaczyć, jakie źródło włączam i jaki efekt wyłączam. Przy poważniejszych dokumentach potrzebujemy tej samej przejrzystości, choć samo sprawdzenie zajmie więcej pracy.

Co z tego wynika dla firmy

Przed udostępnieniem takiego narzędzia pracownikom warto przygotować pytania, na które powinno odpowiedzieć, oraz pytania spoza dokumentacji. Jeśli system dopowiada brakujące fakty, trzeba skorygować zakres źródeł lub sposób użycia.

Źródła: Google, dodawanie i wybór źródeł, Google, odwołania do fragmentów źródeł.