ARTYKUŁ Y

Polski Przegląd Kartografi czny Tom 43, 2011, nr 4, s. 341–353

IZABELA GOŁĘBIOWSKA Katedra Kartografi i Uniwersytetu Warszawskiego [email protected]

Zastosowanie protokołów głośnego myślenia w badaniach kartografi cznych

Zarys treś i. W artykule omówiono metodę szymi obecnie badaniami interdyscyplinarnymi, protokołów głośnego myślenia w kontekście badań na kiedy w ramach jednego problemu badawcze- gruncie kartografi i. Przedstawiono założenia metody, go rozszerza się horyzont badawczy poprzez jej zalety i wady, cel wykorzystania protokołów w innych odwołanie się do osiągnięć różnych dziedzin dyscyplinach nauki oraz problematykę badań kartogra- nauki – ich podstaw teoretycznych, sposobów fi cznych prowadzonych z wykorzystaniem tej metody. podejścia czy metodyki. Pozwala to na szersze S ł owa kluczowe: protokoły głośnego myśle- spojrzenie na badane zagadnienia przez wyko- nia, badania empiryczne, użytkowanie map rzystanie mocnych stron każdego z ujęć. 1. Wprowadzenie 2. Opis metody W jednym z poprzednich numerów „Polskiego Przeglądu Kartografi cznego” T. Opach (2011) Jedną z metod wykorzystywanych w bada- omówił eye-tracking – technikę pomocną w ba- niach użytkowania map, choć o obcym dla kar- daniach użytkowania i redagowania opracowań tografi i rodowodzie, jest metoda protokołów kartografi cznych. W niniejszym artykule chcia- głośnego myślenia, zwana również metodą pro- łabym przybliżyć protokoły głośnego myślenia tokołów werbalnych. W badaniach wykorzystu- – metodę badawczą zaczerpniętą również z in- jących protokoły głośnego myślenia uczestnicy nych dyscyplin naukowych, która może być z po- są proszeni o głośne wypowiadanie swoich myśli wodzeniem stosowana przez kartografów, co oraz zapis toku rozumowania w trakcie rozwią- uzasadnia szereg omówionych niżej badań. zywania zadania o znacznym stopniu złożoności. Kartografi a przez wiele wieków rozwijała się Dzięki temu możliwe jest śledzenie procesu roz- jako działalność praktyczna polegająca na kon- wiązywania problemu (T.A. Suchan i C.A. Brewer strukcji, opracowaniu i gromadzeniu map. Nato- 2000). Cały proces poznawczy jest nagrywany, miast wiedza na temat użytkowania map długo zaś uzyskany materiał badawczy w postaci tzw. opierała się na zdrowym rozsądku, nie będąc protokołów głośnego myślenia analizuje się pod formalną częścią kartografi i naukowej. Karto- kątem stosowania różnych kategorii wypowiedzi grafowie korzystali z osiągnięć innych dyscyplin (K.A. Simon, H.A. Ericsson 1993). Co istotne, wiedzy: matematyki, geodezji i nauk o Ziemi, badani nie mają tłumaczyć, uzasadniać lub inter- głównie w celu poprawienia dokładności opra- pretować swoich myśli, powinni jedynie opisy- cowań kartografi cznych. Dopiero w drugiej po- wać, referować swój proces myślowy (M.W. van łowie XX wieku do analizy użytkowania map Someren i inni 1994). Przy stosowaniu tej metody wprowadzono podejście naukowe – testowanie w centrum zainteresowania znajduje się nie tylko hipotez poprzez naukowy empiryzm. Wtedy też to, co robi badana osoba, ale przede wszystkim, zaczęto coraz częściej sięgać po osiągnięcia co myśli w czasie wykonywania poleceń. Dzięki nauk o ugruntowanych podstawach teoretycz- temu można zrozumieć, w jaki sposób użytkow- nych i bogatym warsztacie metodycznym, w tym nik postępuje w trakcie wykonywania zadań, jak psychologii. Pozostaje to w zgodzie z coraz częst- wykorzystuje dane mu narzędzie, np. mapę. 342 Izabela Gołębiowska

Poznanie zachowania i przyjmowanych strategii przez podawanie konkretnych przykładów. Wy- pozwala na dostosowanie opracowań do ocze- soka zgodność sędziów zwiększa pewność co kiwań i sposobu wykorzystania ich przez użyt- do trafności kodowania. Nie określono wyraźnie, kowników. jaka wartość charakteryzuje wystarczający współ- czynnik zgodności, jednak literatura dotycząca 2.1. Opracowanie i analiza protokołów badań obserwacji standaryzowanej wskazuje, że zwykle za satysfakcjonującą uznaje się zgod- ność na poziomie 85%, a wartości niższe są Nagranie wypowiedzi, czasem także zachowa- uważane za nie do przyjęcia (J.J. Shaughnessy nia badanego, jest źródłem bogatej, lecz nieupo- i inni 2002). rządkowanej informacji. Należy zatem wyłonić Proces kodowania jest wieloetapowy (ryc. 1). informacje zasadnicze dla badania. Pozyskane Należy rozpocząć od wyboru jednostki kodowa- dane mogą zostać opisane i analizowane jako- nia – fragmentu wypowiedzi, który zostanie na- ściowo, ale mogą być również skwantyfi kowane stępnie przyporządkowany jednej z kategorii (M.T.H. Chi 1997). Na początku należy upo- kodowych. Decyzja o sposobie wyróżnienia jed- rządkować dane poprzez ich redukcję; wyróżnia nostki kodowania jest zależna między innymi od się i opisuje w nagraniu zdarzenia, zachowania celu badania lub materiału badawczego – dla lub akty istotne z punktu widzenia badania – do- niektórych badaczy podstawową jednostką jest chodzi zatem do kodowania nagrania (J.J. Shau- pojedyncze słowo, inni wykorzystują kryterium ghnessy i inni 2002). Dopiero tak opracowany semantyczne, a nie formalne, wyróżniając takie protokół głośnego myślenia poddaje się dalszej jednostki jak zwroty, wyrażenia, całe zdania lub analizie – prezentacji danych, formułowania nawet akapity tekstu o jednym temacie (M.T.H. wniosków i ich weryfi kacji. Chi 1997; K. Krejtz, I. Krejtz 2005). Określenie

Ryc. 1. Etapy opracowania protokołów głośnego myślenia (na szarym tle oznaczono czynności realizowane przez sędziów kompetentnych) Fig. 1. Elaboriation of think-aloud protocols (stages executed by coders are placed on a grey background)

Duże zróżnicowanie wypowiedzi niesie za sobą sposobu i kryteriów podziału na jednostki po- ryzyko subiektywności analiz w trakcie ich opra- winno być przeprowadzone przy pomocy sędziów cowania i dalszego wnioskowania, co może ob- kompetentnych. Po przeszkoleniu sędziowie sa- niżyć rzetelność i trafność badania. Rzetelność modzielnie dokonują podziału losowo wybranego takiego badania jakościowego można zapewnić wycinka wypowiedzi, aby następnie skonfron- przez angażowanie tzw. sędziów kompetent- tować wyniki swojego podziału, rozstrzygnąć nych, czyli niezaznajomionych z celem badania, wszelkie rozbieżności i ustalić wspólną wersję. specjalnie przeszkolonych interpretatorów wy- W ten sposób ustala się jasne kryteria wyróż- powiedzi (J. Kowal 2009). W celu osiągnięcia niania, które można stosować w odniesieniu do wiarygodnych wyników kodowania należy za- wszystkich wypowiedzi. pewnić niezależność pracy sędziów. Miarą rze- Następnym krokiem pracy sędziów jest opra- telności sędziów jest stopień zgodności między cowanie kategorii wchodzących w skład klucza nimi, który można poprawiać dzięki szkoleniu kodowego, co umożliwia sprowadzenie treści i dostarczaniu informacji zwrotnej o stwierdzo- wypowiedzi do mniejszej liczby spójnych kate- nych rozbieżnościach w wynikach ich analiz. gorii. Klucz kodowy ma na celu trafne odzwiercie- Równie ważne jest sformułowanie klarownych dlenie celu badania. Kategorie w kluczu powinny defi nicji rejestrowanych kategorii kodowych po- być rozdzielne znaczeniowo i jednocześnie Zastosowanie protokołów głośnego myślenia w badaniach kartografi cznych 343 spójne wewnętrznie. Ponadto klucz powinien znaczenie poszczególnych kategorii. W przy- być kompletny, czyli zawierać wszystkie nie- padku nieosiągnięcia wymaganego poziomu zbędne kategorie znaczeniowe służące do opisu zgodności powtarza się poprzednie kroki, aż do badanego zjawiska. Zawartość poszczególnych uzyskania satysfakcjonującego poziomu rzetel- kategorii kodowych jest zależna od celu bada- ności kodowania. nia. Na przykład R.W. Kulhavy i inni (1992) oraz Kolejnym krokiem analizy kodowanych pro- S. Ungar i inni (1997) w swoich badaniach tokołów jest prezentacja i analiza uzyskanych chcieli odnieść się do wyników przeprowadzo- danych (M.T.H. Chi 1997, D. Lloyd 2009). W zależ- nych przez P.W. Thorndke’a i C. Stasza (1980) ności od celu badania może to być spis wyróżnio- i dlatego wyodrębnili analogiczne kategorie ko- nych kategorii, liczba wystąpień poszczególnych dowe. Były to etapy postępowania odpowiada- kategorii kodowych (C. van Elzakker 2004) lub jące operacjom realizowanym w trakcie nauki liczba zdań. Interesujące rozwiązanie zastoso- treści mapy: odczytywanie nazw, opisywanie wał J. Crampton (1992). Oprócz typowych analiz treści, analiza relacji między obiektami, liczenie pokazał on strategie postępowania badanych obiektów oraz ich kontekst przestrzenny. osób za pomocą diagramów (ang. behaviour W swoich badaniach (I. Gołębiowska 2011a) graph, ryc. 2). oparłam się na etapach rozwiązywania problemu Modyfi kując tę metodę prezentacji, pokaza- decyzyjnego opisanych na gruncie psychologii łam charakterystyki działania nie poszczególnych

Ryc. 2. Diagram prezentujący strategię wyboru trasy w trakcie ćwiczeń na orientację przez doświadczonego użytkownika (źródło: J. Crampton 1992) Fig. 2. Behaviour graph for an expert executing a wayfi nding task (source: J. Crampton 1992)

(np. E. Nęcka i inni 2007), które odniosłam do osób, ale całych grup badanych, które otrzymały działań użytkowników mapy. Są to: defi niowanie taki sam materiał badawczy (I. Gołębiowska problemu decyzyjnego – czytanie pytania, zbie- 2011a). Grafi czna prezentacja danych, pokaza- ranie informacji atrybutowej – czytanie legendy, na na rycinie 3, znacznie ułatwia etap analizy, zbieranie informacji przestrzennej – czytanie diagram zawiera bowiem charakterystyki iloś- mapy, ocena ważności zebranych informacji ciowe – wielkość fi gur geometrycznych prezen- – określanie kryteriów, wyróżnienie jednej opcji tuje częstość ich stosowania, a grubość wstęgi – decyzja lub opcjonalne lokalizacje oraz utwier- częstość następstw między operacjami. dzenie się w przekonaniu podjęcia dobrej de- Można również stosować inne analizy w za- cyzji – uzasadnienie decyzji. leżności od potrzeby i problemu badawczego. W końcu sędziowie przystępują do kodowania Nie ma jednak opracowanych szczegółowych losowo wybranej próbki materiału, aby sprawdzić, zasad sposobu prezentacji danych z kodowa- czy są różnice w ich interpretacji i kodowaniu, nych protokołów, zależy to bowiem od rodzaju a następnie upewnić się, że tak samo rozumieją poszukiwanych informacji. Wszystko to służy 344 Izabela Gołębiowska poszukiwaniu prawidłowości zachowania ba- Dlatego tak ważne są wybór i przygotowanie do danych, identyfi kacji pewnych schematów i stra- badań eksperymentatora, który powinien zapew- tegii postępowania, a docelowo wyjaśnieniu nić odpowiednią atmosferę w trakcie badania, struktury i zrozumieniu studiowanych procesów tak aby ograniczyć do minimum skrępowanie (D. Lloyd 2009). Ostatnim etapem jest interpre- i stres badanych. Kolejnym ograniczeniem mo- tacja wyróżnionego wzoru postępowania oraz że być to, że badany wypowiada tylko część jego potwierdzenie. swoich myśli, ponieważ werbalizacja jest wol-

Ryc. 3. Diagram prezentujący kolejność i zakres odczytu informacji z legendy sytuacyjnej (źródło: I. Gołębiowska 2011a) Fig. 3. Graph presenting sequence and extent of information acquired from a natural legend (source: I. Gołębiowska 2011a)

2.2. Wady i zalety metody niejsza od procesów myślowych. Dlatego badany może uzupełnić treść wypowiedzi w trakcie oglądania nagrań z sesji głośnego myślenia, Metoda protokołów głośnego myślenia po- najlepiej bezpośrednio po jej zakończeniu. Po- zwala na uzyskanie wglądu w procesy z punktu nadto może pojawić się problem z wyrażeniem widzenia osoby badanej i są to informacje, które swoich myśli, jednak jest on zazwyczaj rozwią- mogą być nieosiągalne za pomocą innych me- zywany za pomocą tzw. treningu głośnego my- tod (R.J. Sternberg 1999). Metoda stanowi bez- ślenia. pośrednie źródło informacji na temat procesów poznawczych. Badany nie musi uzasadniać 3. Zastosowanie metody protokołów gło- swoich myśli, nie ma więc istotnych przeszkód śnego myślenia w procesie myślowym. Werbalizacja myślenia następuje od razu, zatem nie ma problemów z za- pamiętaniem swoich myśli. Atuty metody jako bezpośredniego źródła in- Należy również wskazać na wady tej metody, formacji o tym co myśli badany spowodowały, które jednak można ograniczyć. Ważne ogra- że protokoły głośnego myślenia są wykorzysty- niczenie związane jest z zachowaniem osób wane w wielu dziedzinach, gdzie ważne jest w zaaranżowanych warunkach badania. C. van zrozumienie, w jaki sposób osoby wnioskują Elzakker (2004) wspomina o tzw. efekcie Haw- i rozwiązują problemy. Jak podaje C. van Elzak- thorne’a, czyli zmianie zachowania spowodo- ker (2004), metoda ta była wykorzystana mię- wanej świadomością bycia obserwowanym. dzy innymi: Zastosowanie protokołów głośnego myślenia w badaniach kartografi cznych 345

– w psychologii, np. w badaniach procesu z legend o różnych konstrukcjach, procedury rozumowania i w poszukiwaniu źródeł błędów rozpoznawania znaczenia symboli oraz strate- w procesie wnioskowania, gie rozwiązywania problemu decyzyjnego. Me- – w pedagogice, np. do weryfi kacji skutecz- toda głośnego myślenia jest bowiem źródłem ności procesów edukacyjnych i diagnozy zagad- różnorodnych informacji, które mogą być anali- nień problemowych dla uczniów, zowane pod różnym kątem. W ten sposób moż- – przy budowie systemów komputerowych na lepiej zrozumieć proces użytkowania map, opartych na wiedzy eksperckiej (tzw. inżynieria a w konsekwencji redagować efektywne opra- wiedzy), np. w badaniach sposobu wykorzysty- cowania kartografi czne. wania wiedzy specjalistycznej przez ekspertów, Przeprowadzone badania miały najczęściej – w trakcie testowania prototypów programów charakter jakościowy i w związku z tym brała komputerowych i stron internetowych, np. do w nich udział niewielka liczba osób, często po- wskazania rozwiązań interfejsów, które mogą niżej dziesięciu. J. Nielsen (1994) wskazuje, iż być niezrozumiałe dla użytkowników. w badaniach jakościowych prototypów progra- Na gruncie kartografi i metoda nie była stoso- mów komputerowych z wykorzystaniem pro- wana w zasadzie do końca minionego stulecia, tokołów głośnego myślenia wystarczający jest wcześniej dominowały bowiem badania iloś- udział czterech osób (+/- jedna osoba) do uzy- ciowe jako konsekwencja „ilościowej rewolucji” skania wartościowych uwag. Zalecenie to od- w geografi i, która wpłynęła również na prace nosi się jednak do badań prototypów programów badawcze kartografów. Dopiero w latach dzie- w poszukiwaniu błędów interpretacyjnych popeł- więćdziesiątych metoda ta znalazła szersze nianych przez użytkowników, z których można zastosowanie w badaniach nad procesem użyt- wysnuć jedynie wnioski o charakterze jakościo- kowania map (tab. 1). wym. Dlatego też w badaniach, w których poszu- Początkowo badania odnosiły się do strategii kiwano innego typu informacji, bądź o szerszym nauki i zapamiętywania treści mapy. Zagadnie- zakresie analiz, decydowano się na zwiększe- nie to, zapoczątkowane badaniami przepro- nie liczby respondentów. wadzonymi jeszcze w latach osiemdziesiątych ubiegłego stulecia (P.W. Thorndyke, C. Stasz 4. Wybrane problemy metodyczne 1980), było pogłębiane przez poszukiwanie róż- nic w strategiach stosowanych przez osoby Metoda protokołów głośnego myślenia ma widzące i z niepełnosprawnością wzrokową niekwestionowane zalety, jednak decydując się (S. Ungar i inni 1997), a także profesjonalistów na jej stosowanie należy pamiętać o kilku pro- i osoby mniej doświadczone (R.W. Kulhavy i inni blemach. Część z nich może być ograniczona 1992). Różnice w rozwiązywaniu różnego typu lub nawet usunięta (np. wspomniane ryzyko su- problemów o charakterze przestrzennym przez biektywności analiz zróżnicowanego zbioru da- osoby o różnym doświadczeniu i umiejętno- nych), część jednak należy brać pod uwagę ściach użytkowania map były z kolei przedmio- jako nieodłączną właściwość metody (np. czaso- tem zainteresowania m.in. J. Cramptona (1992) chłonność). Posługując się przykładami badań i C. van Elzakkera (2004). W ostatnich latach na gruncie kartografi i można zaobserwować, metoda protokołów głośnego myślenia była coraz jak poradzono sobie z różnego rodzaju proble- częściej stosowana w badaniach użyteczności mami. opracowań kartografi cznych o rozszerzonej funk- cjonalności (prezentacje interaktywne, animowa- ne), w celu zrozumienia sposobu wykorzystania 4.1. Wybór eksperymentatora takich narzędzi w działaniach i identyfi kacji po- tencjalnych problemów w trakcie ich użytkowania W trakcie czynności przygotowawczych nale- (H.M. Flink, L.T. Sarjakowski 2010; J. Wardlaw, ży podjąć decyzję odnośnie do wyboru osoby A. Skarlatidou 2010). prowadzącej badanie. Rolą eksperymentatora Warto zauważyć, że na podstawie jednej sesji jest dyskretne czuwanie nad przebiegiem bada- głośnego myślenia można przeprowadzić anali- nia i włączanie się w jego przebieg w jak naj- zę różnych aspektów użytkowania map (I. Gołę- mniejszym zakresie. Po przekazaniu instrukcji biowska 2011a). Analizując nagrania zwróciłam ważne jest zadbanie o odpowiednią atmosferę uwagę na kolejność i zakres odczytu informacji w czasie badania oraz przypominanie o głośnym 346 Izabela Gołębiowska ę - ł ania ł ania ł ania ł ania ł asne) Inne zastosowane metody badawcze nagranie sekwencji wideo z monitora eye-tracking, wywiad cz ś ciowo ustrukturyzowany, nagranie zachowania kwestionariusz, nagranie sekwencji wideo z monitora kwestionariusz, nagranie sekwencji wideo z monitora kwestionariusz, nagranie sekwencji wideo z monitora 8 analiza wyniku dzia 8 analiza wyniku dzia 9 6 brak informacji 14 brak informacji 41 analiza wyniku dzia 24 analiza wyniku dzia 10 18 kwestionariusz 10 Liczba badanych ą ę dza- ę czne ł ów g o ś nego my lenia (opracowanie w nymi legendami 60 nej z ł o ż ono ś ciż nej 35 brak informacji czne, tematycz- fi czna i historyczna) czna fi Wykorzystane ł y (tre ść topogra fi opracowanie kartogra fi plan miasta ż ytnych staro tematyczna Ś wiat mapa Majów mapa do biegów na orientacj plan centrum handlowego plan miasta plan miasta plan szko aplikacja interaktywna z informacj medyczn ą mapa topogra mapy animowane o ró o animowane mapy aplikacja interaktywna aplikacja wirtualnej nawigacji 3D 6 mapa tematyczna z ró ż mapy ogólnogeogra ne, papierowe i elektroniczne, dane statystyczne j ą cych czas wolny geoserwis dla ludzi aktywnie sp tat ł a- mów cznej fi ci mapy ś ż ytkowni- ś ci mapy tematycz nej ci progra ci ś (niewidome i s ledzone wzrokowo ż nych narz ę dzi do cznej i onych procesów ł o ż onych fi ci mapy przez dzieci ci mapy przez dzieci lonego punktu przez punktu ś lonego i prowadzone z wykorzystaniem metody protoko fi ce i upo ś wiadczonych u ś wiadczonych ci map topogra- map ż yteczno ś ci ą wzrokow ą dze ń mobilnych ą cznych fi ci ą ci aplikacji dla turystów w wer sji ś Przedmiot bada ń ą zywania problemu decyzyjnego ż nych procedur nauki tre ci przyswojonej informacji przyswojonej rezul ci jako e osoby widz nym poziomem znajomo poziomem nym ś ł yteczno ś ą ce) i zakres odczytu informacji z legendy; z informacji odczytu zakres i ść nosprawno kacja optymalnej strategii nauki tre nice sposobu nauki tre ś nice ilo nice ne strategie nauki topogra cznych Ró ż tre ś ci mapy przez licealistów i studentów stosowania ró cia do okre do doj ś cia trasy Wybór niedo i do ś wiadczonych ków map Ró ż Ró ż z niepe ł Identy fi przez doros bo widz Sposób pozyskiwania informacji z kartogra aplikacji interaktywnej u badania metod Ocena fi Przebieg pozyskiwania informacji z mapy animo- wanej Poznanie metod i strategii wykorzystywanych przezPoznanie metod i strategii wykorzystywanych z analizy trakcie w ekspertów prezentacji kartogra Przebieg pozyskiwania informacji o regionie przez ró ż z osoby Sposób nawigacji w trójwymiarowej przestrzeni wirtualnej z wykorzystaniem ró nawigacji i orientacji GIS Ocena u ż internetowej i dla urz Kolejno stosowanie procedur rozpoznania znaczenia zna- ków na podstawie mapy i legendy; strategie rozwi n (2003) Tab. 1. Wybrane badania na gruncie kartogra 1. Wybrane Tab. Autor bada ń P.W. Thorndyke, C. Stasz P.W. (1980) J. Crampton (1992) R.W. Kulhavy, Kulhavy, R.W. D.R. Pridemore, Stock (1992) W.A. S. Ungar, M. Blades, S. Ungar, Ch. Spencer (1997) A.M. MacEachren, Boscoe, D. Haug, F.P. Pickle (1998) L.W. L. Brodersen, H.H.K. Andersen, (2001) S. Weber P.J. Ogao (2002) P.J. A.L. Grif fi C.P.J.M. van Elzakker C.P.J.M. (2004) M.A.R. Schmidt, L.S. deLazari (2011) H.M. Flink, Sarjakowski (2010) L.T. I. Go łę biowska (2011a) Zastosowanie protokołów głośnego myślenia w badaniach kartografi cznych 347 myśleniu, gdy nastanie chwila ciszy (M.W. van nymi, eksperymentatorem stawał się autor ba- Someren i inni 1994). Szczególnie ważna jest dania, np. R.E. Roth (2009) stosując metodę rola eksperymentatora w czasie treningu głoś- wywiadów zogniskowanych. nego myślenia przed rozpoczęciem zasadni- czej części badania. Taki trening jest niezbędny 4.2. Czasochłonność do sprawdzenia, czy badany poprawnie zrozu- miał oczekiwany sposób postępowania. Na tym etapie rolą eksperymentatora jest instruowanie Bardzo dużą niedogodnością metody jest jej i poprawianie respondenta dopóki nie zacznie czasochłonność na każdym etapie postępowa- poprawnie myśleć na głos. nia badawczego: zbierania danych, transkrypcji M.W. van Someren i inni (1994) zalecają, aby nagrań, redukcji i analizy. Zbieranie danych, eksperymentatorem nie był autor badania, w ta- czyli sesje głośnego myślenia muszą być prze- kiej sytuacji bowiem możliwe jest zniekształcenie prowadzone indywidualnie w specjalnie przy- przebiegu procesów poznawczych spowodowa- gotowanym pomieszczeniu. Potrzeba ustalenia ne przez badacza nastawionego na potwierdze- terminu badania dogodnego dla każdej osoby nie swojej hipotezy. Prowadzący badania może i jednocześnie dla eksperymentatora powoduje, w tym celu wzmacniać oczekiwane zachowania że czas zbierania danych staje się znaczny. werbalne i niewerbalne. J. Brzeziński (2007) za- Etap transkrypcji nagrań również jest pracą uważa jednak, że taki niepożądany wpływ może żmudną i długotrwałą. M.T.H. Chi (1997) szacuje, się ujawniać na etapach planowania i prowa- że jedna godzina nagrania wymaga poświęce- dzenia badań empirycznych oraz przygotowy- nia od sześciu do dziesięciu godzin na trans- wania raportu z badania. Należy zaznaczyć, że krypcję i skutkuje uzyskaniem od 15 do 50 stron w przypadku badania z wykorzystaniem metody tekstu. Programy do rozpoznawania mowy i spi- głośnego myślenia eksperymentator powinien sywania tekstu z nagrań są obecnie na tyle niedo- być doskonale zaznajomiony z celem badania, skonałe, że nie powinny być jeszcze stosowane tak aby przeciwdziałać np. zbytniej koncentracji w tego typu badaniach. Nawet najlepiej rozwi- badanego na nieistotnych szczegółach. Ponad- nięte programy do rozpoznawania wypowiedzi to eksperymentator powinien znać wszystkie w języku angielskim nie dają satysfakcjonują- szczegóły badania, aby mógł odpowiedzieć na cych efektów (C. van Elzakker 2004), ponieważ wszystkie pytania z nim związane, lecz tak aby czas poświęcony na rozpoznanie i poprawę du- nie powiedzieć za dużo – nie sugerować na co żej liczby błędów w zapisie wypowiedzi jest nie- badany ma zwracać uwagę. Innym ważnym jednokrotnie dłuższy niż w przypadku „ręcznej” czynnikiem jest stała dostępność eksperymen- transkrypcji danych. Czas potrzebny na trans- tatora. Zmiana osoby pełniącej tę rolę w trakcie krypcję można jednak skrócić, decydując się na badań jest bowiem dodatkową zmienną mo- dalszą analizę tylko części nagranych wypowie- gącą wpłynąć na wyniki, co może być źródłem dzi. Wyboru analizowanych fragmentów można wątpliwości na etapie interpretacji wyników dokonać trzema sposobami: 1) wybierając losowo (C. van Elzakker 2004). fragmenty wypowiedzi, 2) wybierając do analizy Z tego powodu niejednokrotnie łączono rolę tylko te fragmenty, które dotyczą zagadnień autora badania i eksperymentatora (np. A.M. istotnych dla badania, 3) analizując części na- MacEachren i inni 1998, C. van Elzakker 2004, grania wybrane na podstawie kryterium innego I. Gołębiowska 2011b). Ewentualny efekt wpływu niż treść nagrania (M.T.H. Chi 1997). Którykol- badacza na osoby badane w celu uzyskania po- wiek z tych zabiegów zawsze skutkuje utratą żądanych wyników może być kontrolowany na informacji, dlatego nie były one często stosowane podstawie pełnej dokumentacji w postaci nagrań przez kartografów. Czasochłonny jest również wideo. Niewłaściwe działania eksperymenta- etap opracowania klucza kodowego i kodowa- tora lub zachowania osób pełniących rolę eks- nia wypowiedzi, wymaga bowiem udziału dwóch perymentatora mogą być bardziej szkodliwe dla niezależnych sędziów kompetentnych i musi wyników badania, niż przyjęcie przez autora ba- być doprowadzony do momentu osiągnięcia za- dania roli eksperymentatora. Warto zauważyć, łożonego poziomu zgodności. że niejednokrotnie w badaniach z wykorzysta- Etap opracowania i analizy danych może być niem innych metod, w których również występuje wspomagany przez programy komputerowe bezpośredni kontakt eksperymentatora z bada- („wirtualnych sekretarzy”), co skraca czas tych 348 Izabela Gołębiowska działań (F. Barsky i inni 2005). Wiele z nich zo- zacyjny (w postaci tzw. drzewka), pokazujący stało opracowanych w instytutach badawczych, położenie danej kategorii na tle pozostałych wy- np. w Centrum Badań Edukacji różnionych elementów. w Wisconsin lub ELAN w Instytucie Psycho- Z pewnością programy tego typu ułatwiają lingwistyki im. Maxa Plancka w Nijmegen w Ho- pracę, wymagają one jednak od badacza wiedzy landii. Program TRANSANA, pomagający na na temat metodyki postępowania oraz przezna- etapie transkrypcji, daje możliwość równocze- czenia i możliwości stosowanych programów. snej pracy ze zsynchronizowanymi nagraniami audio, wideo i tekstem wypowiedzi. W trakcie spisywania wypowiedzi pomocna jest funkcja 4.3. Łączenie metod wielokrotnego odtwarzania krótkich fragmentów nagrania. Ponadto można oznaczać wybrane Metoda protokołów głośnego myślenia pomi- fragmenty nagrań, a zastosowane znaczniki bę- mo swoich zalet nie jest w stanie dostarczyć dą widoczne na nagraniu i w tekście. Dostępne wszystkich informacji na temat badanych proce- są także programy umożliwiające oprócz trans- sów, dlatego stosuje się równolegle z nią rów- krypcji również kodowanie i analizę protokołów. nież inne metody, które pomagają w uzyskaniu Program ELAN pomocny jest także na etapie komplementarnych danych.

Ryc. 4. Wykresy występowania różnych kategorii kodowych na osi czasu opracowane w programie MacSHAPA (źródło: A.M. MacEachren i inni 1998) Fig. 4. Graphs, elaborated in MacSHAPA , that present appearance of think-aloud codes while executing the task (source: A.M. MacEachren et al. 1998) kodowania wypowiedzi (I. Gołębiowska 2011b). Z związku z tym, że metoda protokołów głoś- Oprócz wymienionych funkcji, umożliwia on nego myślenia umożliwia zebranie informacji oznaczenie fragmentów tekstu zdefi niowanymi na temat przebiegu procesów, często w obsza- kategoriami kodowymi, jak również proste ana- rze zainteresowania i bliższych analiz jest również lizy: przeszukiwanie, zliczanie częstości danej rezultat postępowania (ryc. 5). Na podstawie kategorii, weryfi kację powiązań między kate- analizy uzyskanych efektów określana jest sku- goriami; oblicza również czas występowania teczność strategii działania rozpoznanych na wskazanych elementów wypowiedzi. Z kolei podstawie protokołów głośnego myślenia. W swo- narzędzie MacSHAPA pozwala na organizację ich badaniach R.W. Kulhavy i inni (1992) oraz i analizę sekwencji operacji w opracowanym S. Ungar i inni (1997) poprosili uczestników o od- protokole (A.M. MacEachren i inni 1998). Pro- tworzenie treści studiowanej przed chwilą mapy, gram ten ma rozbudowane możliwości analizy: rysując bądź układając klocki symbolizujące po- wykresy z osią czasu prezentujące występowa- szczególne elementy (ryc. 5A). Zakres treści nie danej kategorii (ryc. 4) lub schemat organi- zapamiętanych i odtworzonych map był analizo- Zastosowanie protokołów głośnego myślenia w badaniach kartografi cznych 349 wany w celu oceny sposobu nauki treści mapy zadań mieli naszkicować trasę, którą przebyli stosowanego przez badanych. Zadaniem po- w trakcie nawigacji w trójwymiarowej przestrzeni stawionym przed uczestnikami badania C. van wirtualnej (ryc. 5C). Elzakkera (2004) było opracowanie „choremu” Kwestionariusz to kolejna metoda stosowana (ryc. 5B), czyli modelu regionu prezentującego w celu uzyskania informacji, które szczególnie jego strukturę i zachodzące w nim zjawiska i pro- interesują badacza, np. na temat istotnych dla cesy przestrzenne (A. Grzegorczyk 2010). Złożo- niego charakterystyk: opinii na temat stosowa-

Ryc. 5. Różne formy map i schematów opracowanych po etapie studiowania opracowań kartografi cznych (źródło: A: S. Ungar i inni 1997, B: C. van Elzakker 2004, C: M.A.R. Schmidt i L.S. de Lazari 2011) Fig. 5. Various forms of maps and schemes elaborated directly after cartographic elaboration (source: A: S. Ungar et al. 1997, B: C. van Elzakker 2004, C: M.A.R. Schmidt i L.S. de Lazari 2011) ność i trafność opracowanych modeli i schematów nych opracowań (I. Gołębiowska 2011a) czy była informacją uzupełniającą w trakcie analizy też elementów testowanego opracowania, które strategii eksploracji danych geografi cznych na były najważniejsze dla badanych w trakcie roz- temat regionu. W badaniach M.A.R. Schmidta wiązywania zadania (M.A.R. Schmidt, L.S. de La- i L.S. de Lazariego (2011) badani po realizacji zari 2011). Kwestionariusz jest stosowany również 350 Izabela Gołębiowska w celu sporządzenia charakterystyki badanego zrozumienie treści wypowiedzi, np. gdy badany (np. C. van Elzakker 2004). Metoda ta bywa wskazuje kursorem dany element komentując, chętnie wykorzystywana, ponieważ jest stosun- lecz nie nazywając go. Co ważne, programy kowo prosta i ma wyraźnie określoną metodykę wspomagające analizę protokołów, jak wspo- opracowania danych. mniane ELAN czy MacSHAPA, umożliwiają Inną interesującą informacją jest sposób wy- synchronizację nagrań wypowiedzi badanych korzystania mapy lub aplikacji podczas głośne- z nagraniami sekwencji wideo z monitora (ryc. 6). go myślenia. W tym celu rejestruje się działania Znacznie ułatwia to konfrontację tych dwóch widoczne na monitorze, z którego korzysta ba- źródeł informacji.

Ryc. 6. Okno programu ELAN umożliwiającego synchronizację nagrań głośnego myślenia (okno lewe) i sekwencji wideo z monitora (prawe okno) Fig. 6. ELAN software that enables synchronization of recordings from think-aloud sessions (left winddow) and action logging (right window) dany (ang. action logging). Nagrania takie są W celu uzupełnienia informacji zawartej w pro- informacją pomocniczą w trakcie interpretacji tokołach werbalnych można użyć również zesta- i opracowania protokołów głośnego myślenia wu innych metod. L. Brodersen, H.H.K. Andersen (I. Gołębiowska 2011a), podstawą oceny popraw- i S. Weber (2001) zastosowali szeroki zakres ności testowanych prototypów aplikacji (A.M. metod w badaniu użyteczności map topografi cz- MacEachren i inni 1998), a także równoważnym nych. Celem badania była konfrontacja różnego źródłem informacji na temat przebiegu procesu rodzaju wyników uzyskanych dzięki stosowaniu myślowego (C. van Elzakker 2004, M.A.R. Schmidt, różnych metod postrzegania złożoności mapy L.S. de Lazari 2011). Często wykorzystanie tej (dane uzyskane dzięki zastosowaniu protokołów metody jest jedynym sposobem umożliwiającym głośnego myślenia, wywiadu oraz nagrań wideo Zastosowanie protokołów głośnego myślenia w badaniach kartografi cznych 351 z zarejestrowanym zachowaniem badanych) Przykładowo, C. van Elzakker (2004) w wyniku z tzw. zachowaniem poznawczym (poznanym badań przeprowadzonych z wykorzystaniem tej dzięki technice eye-tracking). Jak przyznali sami metody, sformułował szereg hipotez dotyczących autorzy, takie zestawienie metod daje obiecujące czynników wpływających na użytkowników map, wyniki, które znacznie rozszerzają możliwość hipotezy te należy jednak zweryfi kować poprzez poznania badanych zagadnień. Na przykład połą- dalsze badania empiryczne. Metoda protokołów czenie metody protokołów werbalnych z techniką głośnego myślenia jest ponadto coraz częściej eye-tracking może dostarczyć uzupełniających stosowana nie w celu poszukiwania ogólnych się informacji: eye-tracking pozwala na precy- zasad, lecz do testowania prototypów konkretnych zyjne określenie miejsca obserwacji podczas opracowań kartografi cznych i identyfi kacji ele- wykonywania danej operacji myślowej, z kolei mentów treści niezrozumiałych dla użytkowników. metoda protokołów werbalnych pozwala dowie- Obiecujące wydaje się łączenie tej metody dzieć się co myśli badany, a nie tylko gdzie spo- z innymi technikami. Umożliwia to zebranie gląda. komplementarnych danych na temat procesu poznawczego, realizowanego w trakcie użytko- 5. Podsumowanie wania map i jednocześnie wykorzystanie zalet każdej z metod. Wydaje się, że główna niedo- Metoda protokołów głośnego myślenia jest godność – czasochłonność metody – będzie pomocna w badaniach kartografi cznych, jak stopniowo ograniczana dzięki zastosowaniu co- pokazują przykłady dotychczasowych badań raz doskonalszych programów komputerowych, empirycznych. Pozwala na uzyskanie cennych służących m.in. do automatycznej transkrypcji informacji umożliwiających poznanie i zrozumie- nagrań i analizy protokołów. Nie zwolni to jed- nie procesu użytkowania różnego rodzaju opra- nak nigdy badacza z obowiązku świadomego cowań kartografi cznych. Wiedza ta może być i poprawnego stosowania metody, z uwzględ- pomocna w trakcie projektowania efektywnych nieniem jej ograniczeń, zwłaszcza na etapie map i interfejsów aplikacji kartografi cznych, trud- wnioskowania. no jednak wskazać konkretne zasady redakcji Poszukiwanie metod stosowanych w innych map, które zostały sformułowane bezpośrednio dziedzinach nauki i dostosowanie ich do roz- dzięki zastosowaniu tej metody. Badania z uży- wiązywania problemów badawczych kartografi i ciem protokołów głośnego myślenia służą bowiem korzystnie wpływa na rozwój kartografi i jako uzyskaniu wiedzy na temat działania użytkowni- dyscypliny naukowej. Pozwala to na rozwijanie ków. Aby zrozumieć te działania i zdefi niować warsztatu metodycznego i jednocześnie na sku- ogólne prawa nimi rządzące muszą zostać prze- teczniejsze uzyskiwanie odpowiedzi na stawia- prowadzone dalsze badania eksperymentalne. ne pytania.

Literatura

Barsky F., Gabińska A., Zalewski B., 2005, Programy Crampton J., 1992, A cognitive analysis of wayfi nding wspomagające analizę tekstu. W: K. Stemplewska-Ża- expertise. „Cartographica” Vol. 29, no. 3–4, s. 46–65. kowicz, K. Krejtz, Wywiad psychologiczny 1. Wywiad Elzakker van C.P.J.M., 2004, The use of maps in the jako postępowanie badawcze, Warszawa: Pracow- exploration of geographic data. „Netherlands Geo- nia Testów Psychologicznych, s. 250–258. graphical Studies” nr 326, Utrecht – Enschede. Brodersen L., Andersen H.H.K., Weber S., 2001, Ap- Flink H.M., Sarjakowski L.T., 2010, Experimenting with plying eye-movement tracking for the study of map methods for usability testing of web and mobile maps perception and map design. Copenhagen: National for hikers. http://homepages.ge.ucl.ac.uk/~mhaklay/ Survey and Cadastre. pdf/ ProgrammeAbstractsWorkshopUUICommission. Brzeziński J., 2007, Metodologia badań psychologicz- pdf (abstrakt), data pozyskania 3.10.2011. nych. Warszawa: Wydawnictwo Naukowe PWN. Gołębiowska I., 2011a, Wpływ konstrukcji legendy na Chi M.T.H., 1997, Quantifying qualitative analyses of proces użytkowania mapy. Niepublikowana praca verbal data: a practical guide. „The Journal of the doktorska opracowana w Katedrze Kartografi i Uni- Learning Sciences” Vol. 6, no. 3, s. 271–315. wersytetu Warszawskiego. 352 Izabela Gołębiowska

Gołębiowska I., 2011b, Strategies of legend and map Ogao, P.J., 2002, Exploratory visualization of tempo- integration. „Proceedings of the 25th International ral geospatial data using animation. Enschede: ITC Cartographical Conference”, Paris, France, CD. Publication, Febodruk BV. Griffi n A.L., 2003, An empirical study of interactive Opach T., 2011, Zastosowanie okulografi i (techniki maps in the context of a geographical simulation eye-tracking) w kartografi i. „Polski Przegl. Kartogr.” model. „Proceedings of the 21st International Car- T. 43, nr 2, s. 155–169. tographical Conference”, Durban, s. 358–364. Roth R.E., 2009, A qualitative approach to understand- Grzegorczyk A., 2010, Modele przestrzenne chorèmes ing the role of geographic information uncertainty – ewolucja metody i możliwości jej zastosowania. during decision making. „Cartography and Geogr. „Polski Przegl. Kartogr.” T. 42, nr 1, s. 17–29. Inform. Science” Vol. 36, no. 4, s. 315–330. Kowal J., 2009, Wybrane teoretyczne i praktyczne Schmidt M.A.R., de Lazari L.S., 2011, User testing aspekty statystycznej metodologii badań jakościo- with tools for 3D visual navigation. „Proceedings of wych. W: A. Oleszkowicz, P. Dybek (red.), Psychologia the 25th International Cartographical Conference”, ilości. Psychologia jakości. Uzupełniające się spojrze- Paris, France, CD. nia, Wrocław: Ofi cyna Wydawnicza ATUT – Wro- Shaughnessy J.J., Zechmeister E.B, Zechmeister J.S., cławskie Wydawnictwo Oświatowe. 2002, Metody badawcze w psychologii, Gdańsk: Krejtz K., Krejtz I., 2005, Metoda analizy treści – teoria Gdańskie Wydawnictwo Psychologiczne. i praktyka badawcza. W: K. Stemplewska-Żakowicz, Simon K.A., Ericcson H.A., 1993, Protocol analysis: K. Krejtz, Wywiad psychologiczny 1. Wywiad jako verbal reports as data. Cambridge: MIT Press. postępowanie badawcze, Warszawa: Pracownia Someren van M.W., Barnard Y.F., Sandberg J.A.C., Testów Psychologicznych Polskiego Towarzystwa 1994, The think aloud method. London: Academic Psychologicznego, s. 129–149. Press, University of Amsterdam. Kulhavy R.W., Pridemore D.R., Stock W.A., 1992, Sternberg R.J., 1999, Psychologia poznawcza. War- Cartographic experience and thinking aloud about szawa: Wydawnictwa Szkolne i Pedagogiczne. thematic maps. „Cartographica” Vol. 29, no. 1, s. 1–9. Suchan T.A., Brewer C.A., 2000, Qualitative methods Lloyd D., 2009, Evaluating human-centered approaches for research on mapmaking and map use. „Profes- for Geovisualization. http://gicentre.org/ papers/lloyd_ sional Geographer” Vol. 52, no. 1, s. 145–154. evaluating_2009.pdf (praca doktorska), data pozys- Thorndyke P.W., Stasz C., 1980, Individual differences kania: 17.12.2010. in procedures for knowledge acquisition from maps. MacEachren A.M., Boscoe F.P., Haug D., Pickle L.W., „Cognitive ” Vol. 12, no. 1, s. 137–175. 1998, Geographic visualization: designing manipu- Ungar S., Blades M., Spencer Ch., 1997, Strategies lable maps for exploring temporally varying geo-refe- for knowledge acquisition from cartographic maps renced statistics. „Proceedings IEEE Symposium by blind and visually impaired adults. „The Cartogr. on Information Visualization”, http://www.geovista. Journal” Vol. 34, no. 2, s. 93–110. psu.edu/publications/MacEachren/MacEachren_Bos- Wardlaw J., Skarlatidou A., 2010, Concepts-based analy- coe_etal_IEEE_98.pdf, data pozyskania: 10.09.2011. sis of surface and structural misfi ts (CASSM) for Nęcka E., Orzechowski J., Szymura B., 2007, Psycho- Web GIS. http://homepages.ge.ucl.ac.uk/~mhaklay/ logia poznawcza. Warszawa: ACADEMICA Wydaw- pdf/Programme AbstractsWorkshop UUICommis- nictwo SWPS, Wydawnictwo Naukowe PWN. sion.pdf (abstrakt), data pozyskania 3.10.2011. Nielsen J., 1994, Estimating the number of subjects needed for think aloud test. „International Journal of Recenzowała Human-Computer Studies” Vol. 41, no. 3, s. 385–397. prof. dr hab. Wiesława Żyszkowska

Application of Think Aloud Method in Cartography Summary

Keywords: think aloud, empirical study, map use The think aloud method has been applied in various disciplines, e.g. psychology, and knowledge Think aloud method is the source of in-depth infor- engineering. It has been also applied in cartography mation on the processes that take place in the mind of a subject. The approach is applied when a researcher since the last decade of the 20th century (tab. 1). The wants to understand why and how decision-making is method has been used in order to get to know map being conducted. Applying the think aloud method, re- learning strategies applied by various users (profes- search subjects are asked to voice their thoughts while sionals vs. cartographically inexperienced, sighted vs. working on a given problem. The thinking aloud is re- blind and visually impaired) or in map usability testing. corded, transcribed, then (with help of independently The method is valuable to monitor not only the re- working coders) segmented and coded. sults of the tasks, but also the entire process of map Zastosowanie protokołów głośnego myślenia w badaniach kartografi cznych 353 use, acquisition of information from a map, strategies purpose software. Tools, like TRANSANA, MacSHA- of problem solving. But the method is time- and work- PA or ELAN, can help a researcher at various stages consuming, at the stage of data collection, particularly of the conducted study. The fi nal issue discussed in during coding and analysis of protocols. Some draw- the article, is an application of other methods that pro- backs of the method can be limited, but there are vide complement data. Examples showing how carto- shortcomings that have to be treated as an inherent graphers faced the discussed methodological issues feature. are also presented. Selected issues that should be resolved while desi- Cartographers keep searching for the new methods. gning the research with think aloud method are discus- The application of techniques from other disciplines, sed in the article. The choice of the research assistant e.g. eye-tracking or think aloud methods, enriches car- is often made against the methodological recommen- tography as science discipline and helps better an- dation – it is a researcher, an author of the study. The swering for stated research questions and problems. another issue is a reduction of time used for an analy- sis, it can be achieved by an application of a special Translated by author