An experimental analysis of braille reading using a high-resolution tracking system Inthraporn Aranyanak PhD 2014 An experimental analysis of braille reading using a high-resolution tracking system by Inthraporn Aranyanak A thesis presented in fulfillment of the requirements for the Degree of Doctor of Philosophy Supervisor: Prof. Ronan Reilly Co-Supervisor: Dr. Susan Bergin Department of Computer Science National University of Ireland, Maynooth Maynooth, Co. Kildare, Ireland December, 2014 ACKNOWLEDGEMENTS I would like to express my very great appreciation to my supervisor, Professor Ronan Reilly. His wide knowledge and his logical way of thinking have been of great value for me. His understanding, encouraging and personal guidance have provided a good basis for the present thesis. I am deeply grateful to Dr Susan Bergin for her help and Dr Charles Markham, who helped me to develop the tracking equipment. I also wish to thank Dr. Adam Winstanley, Head of the Department of Computer Science, who supported me with a budget for travelling to conferences. The financial support of John and Pat Hume scholarship is also gratefully acknowledged. I wish to express my warm and sincere thanks to Professor Denis Burnham for his support and kindness when I visited the University of Western Sydney, Bankstown. I am grateful to Professor Ralph Radach, who helped me with the language materials and took good care of me when I visited Florida State University, Tallahassee. Special thanks should be given to the National Council for the Blind in Ireland (NCBI), the Royal Society for the Blind in South Australia, Vision Australia which helped me contact braille readers and provided a room for collecting data. In particular, I appreciate the generous support I received from Stuart Lawler, who is a manager at NCBI training center, Audrey Tormey, Samantha Ogilvie, Graeme Innes, and Peter Greco for advising and helping me and also participating in the study. Above of all, I am deeply thankful to all of the participants, without whom my study would not have been possible. I will always be thankful for the extraordinary friendships I made while pursuing this degree. My deepest gratitude to Ruth McLoughlin, Rebecca Reilly, and Aifric Reilly for treating me as part of their family. I would like to thank Mrs Raweewan Smullen and Mrs Wilaiporn Perkins (Committee of the Society of Thai students in Ireland), and their III families for providing me with delicious Thai food when I was starving here and all of their other help. I would also like to extend my thanks to Nanthana Trakarnratanakul, Patomporn Loungvara, Nattiga Silalai, Utai Uprasen, Siliang Tang, Benjawan Kasisopa, Yvonne Leung and Chee Seng Chong (Leo), Thitima Pattanapotikul, Thitapha Pitayarutsatian, Usa Saetang, Punjaporn Pojanapunya and all of my Thai friends for their friendship. I am also grateful for the support I received from my family in Thailand, my father (Niti Aranyanak), mother (Toenchai Aranyanak), my brother (Jarungyod Aranyanak), P’Yuk (Napaporn Tantisiriseranee), Na’ Nok (Supaporn Ratnoy) and Na’ Man (Narumon Sirichareun). Without their encouragement and understanding it would have been impossible for me to finish this work and I am eternally thankful to my wonderful husband who always support and encourage me to achieve my PhD and my adorable little daughter Lily. Lastly, I offer my regards and blessings to all of those who supported me in any way during the completion of this project. Inthraporn Aranyanak IV กิตติกรรมประกาศ วิทยานิพนธ์ฉบับนี้สำเร็จได้ ด้วยความกรุณาของ Prof. Ronan Reilly อาจารย์ที่ปรึกษา วิทยานิพนธ์ ซึ่งได้ให้คำปรึกษาข้อชี้แนะและความช่วยเหลือในหลายสิ่ง หลายอย่างจน กระทั่งลุล่วงไปได้ด้วยดี ขอขอบพระคุณ Dr. Susan Bergin ที่ให้ความช่วยเหลือรวมทั้ง Dr. Charles Markham ที่ช่วยหาอุปกรณ์เครื่องมือที่ใช้ในการเก็บข้อมูล และ Dr. Adam Winstanley หัวหน้าภาควิชาวิทยาศาสตร์คอมพิวเตอร์ที่สนับสนุนทุนการเดินทางเพื่อไป ประชุมงานวิชาการต่างๆ ขอขอบพระคุณผู้สนับสนุนทุนการศึกษา “John and Pat Hume Scholarship” ขอกราบขอบพระคุณ Prof. Denis Burnham สำหรับความกรุณาและ ช่วยเหลือระหว่างที่ข้าพเจ้าทำวิจัยที่ University of Western Sydney, Bankstown รวมถึง Prof. Ralph Radach ที่ให้ความช่วยเหลือในด้านข้อมูลเพื่องานวิจัย อีกทั้งการดูแลเป็น อย่างดีระหว่างที่ข้าพเจ้าทำวิจัยที่ Florida State University, Tallahassee ขอขอบพระคุณ National Council for the Blind in Ireland (NCBI), the Royal Society for the Blind in South Australia และ Vision Australia ที่ช่วยติดต่อผู้ทำการทดลองและ จัดเตรียมห้องเพื่อทำการเก็บข้อมูล โดยเฉพาะอย่างยิ่งคุณ Stuart Lawler ผู้จัดการศูนย์ NCBI รวมถึงบุคคลเหล่านี้ อาทิ Audrey Tormey, Samantha Ogilvie, Graeme Innes และ Peter Greco ที่ให้ความ ช่วยเหลือเป็นอย่างยิ่งและเหนือสิ่งอื่นใดขอขอบพระคุณผู้ที่เข้าร่วม ทำการทดลองทั้งหมด ขอขอบคุณเพื่อนๆโดยเฉพาะอย่างยิ่ง Ruth McLoughlin, Rebecca Reilly และ Aifric Reilly ที่ดีต่อข้าพเสมือนเป็นคนในครอบครัว คุณระวีวรรณ สมุเล็ห์น (พี่วรรณ) คุณวิไลพร เพอร์คิ้นส์ (พี่ไล) กรรมการสมาคมนักเรียนไทยในไอร์แลนด์และครอบครัว สำหรับอาหารไทยที่แสนอร่อยยามอยู่ต่างแดนและการต้อนรับที่แสนอบอุ่นจากครอบครัวของ V พี่สาวทั้งสอง ขอขอบใจ ณันธนา ตระการรัตนกุล (เจียน), ปฐมพร เหลืองวรา (ต้าร์), ณัฎฐิกา ศิลาลาย (พี่จอย), อุทัย อุประเสน (พี่อ้วน), ซิเลียง, เบญจวรรณ กสิโสภา (พี่เบญ), อีฟอน, ลีโอ, ฐิติมา พัฒนโพธิกุล (กวาง), ฐิตาภา พิทยรัตน์เสถียร(กิฟท์), อุษา แซ่ตั้ง (หนู), ปัญจพร พจนปัญญา (พี่อุ้ม) และเพื่อนๆที่อยู่เมืองไทยทุกคน ขอขอบพระคุณ คุณพ่อนิติและคุณแม่เตือนใจ อรัณยะนาค, คุณจรุงยศ อรัณยะนาค (พี่โจ้), คุณนภาพร ตัณติสิริเศรณี (พี่ยุก), คุณสุภาพร รัตน์น้อย (น้านก), คุณนฤมล ศิริเจริญ (น้าแมน) รวมทั้งคุณโรแนน ไรล์ลี่ และลูกลิลลี่ที่น่ารักของมามี้ที่ได้ให้ความ สนับสนุนและให้กำลังมาโดยตลอด ท้ายนี้ความดีอันเกิดจากการศึกษาค้นคว้าครั้งนี้ ข้าพเจ้าขอมอบแด่บิดา มารดา ครู อาจารย์และผู้มีพระคุณทุกท่าน ข้าพเจ้ามีความซาบซึ้งในความกรุณาอันดียิ่งจากทุกท่าน ที่ได้กล่าวนามมา อินทราพร อรัณยะนาค VI ABSTRACT The research described in this thesis had two sets of goals: (1) to carry out a baseline study of braille reading using an innovative combination of hand-tracking coupled to a computer-controlled braille display; (2) to conduct an in-depth exploration of high-speed braille readers using a range of experimental paradigms. The main results showed that using the finger tracking system permitted the exploration of the moment-to-moment cognitive processes of the braille reader with unprecedented precision. Readers showed relatively rapid sensitivity to lexical properties of the text (e.g., word frequency, lexical structure, orthographic uniqueness point) and demonstrated sensitivity to top- down context effects during reading. The final experiment provided suggestive evidence that the auditory cortex may be involved in skilled braille reading. VII บทคัดย่อ งานวิจัยที่ได้บรรยายในวิทยานิพนธ์เล่มนี้ประกอบไปด้วยสองวัตถุประสงค์หลักคือ (1) เพื่อศึกษาการอ่านภาษาเบลล์ขั้นพื้นฐาน โดยการใช้นวัตกรรมที่สร้างขึ้นมา ผสานกันระหว่างการตรวจจับความเคลื่อนไหวของมือและการควบคุมด้วยโปรแกรมคอมพิว เตอร์เพื่อใช้ในการศึกษาเป้าหมายหลักของงานวิจัยดังนี้ หนึ่ง เพื่อที่จะพัฒนาระบบการ ตรวจจับความเคลื่อนไหวของนิ้วมือที่มีความละเอียดสูงให้มีราคาถูกและง่ายต่อการศึกษา การอ่านภาษาเบลล์ สอง เพื่อที่จะสำรวจพฤติกรรมการอ่านภาษาเบลล์และศึกษากระบวน การการทำงานของสมอง ณ ขณะที่กำลังประมวลผลขณะอ่านข้อความ สาม เพื่อที่จะวัดผล กระทบของการอ่านตามคำสั่งในแบบที่ต่างกัน (2) เพื่อปฏิบัติการสำรวจเชิงลึีกของผู้ที่อ่านภาษาเบลล์ได้อย่างรวดเร็วดังนี้ หนึ่ง สำรวจความแตกต่างของการประมวลผลของคำ ที่ีตำแหน่งจุดเอกลักษณ์ (uniqueness point) นั้นอยู่ในส่วนต้นและส่วนปลาย สอง สำรวจมือที่ใช้ในการรับข้อมูลระหว่างการอ่าน ภาษาเบลล์ โดยใช้เทคนิคในการเปลี่ยนส่วนของการแสดงผลบน refreshable braille display สาม ทดสอบสมมุติฐานว่าผู้ที่อ่านได้เร็วนั้นมีการใช้พื้นที่ของส่วนประมวลผลสัญญาณ ระดับล่างที่อยู่ในสมองส่วนของการได้ยินหรือไม่ ผลที่ได้จากการศึกษานี้แสดงให้เห็นว่า การใช้ระบบการตรวจจับการเคลื่อนไหวของนิ้วมือ ที่ได้ประดิษฐ์ขี้นมานี้สามารถทีี่จะสำรวจการประมวลผลที่เกิดขึ้น ณ ขณะปัจจุบันของผู้อ่าน ภาษาเบลล์ได้อย่างมีประสิทธิภาพ ซึ่งผลจากการใช้เครื่องมือนี้แสดงให้เห็นว่าผู้อ่านนั้น มีการตอบสนองที่รวดเร็วต่อคุณสมบัติทางคำศัพท์ เช่น ในเรื่องของความถี่ของคำและ โครงสร้างของคำศัพท์ อีกทั้งยังพบว่ามี top-down effect ที่เห็นได้จากการเคลื่อนไหวของ VIII นื้วมือระหว่างการอ่านเบลล์อีกด้วย เรายังค้นพบอีกว่าผู้อ่านที่ใช้มือขวาเป็นหลักในการ อ่านนั้นสามารถอ่านได้เร็วกว่าผู้อ่านที่ใช้มือซ้ายเป็นหลัก ตำแหน่งของจุดเอกลักษณ์ (uniqueness point) นั้นก็มีผลกระทบต่อการเคลื่อนไหวมือของผู้อ่านด้วย ผลกระทบจาก ตำแหน่งของจุดเอกลักษณ์แสดงให้เห็นว่า การเข้าถึงคำศัพท์ในการอ่านภาษาเบลล์นั้น คล้ายกับการประมวลผลจากถ้อยคำ (speech processing) ซึ่งเราพบลักษณะการเคลื่อน ไหวมือในแบบที่เราคาดหวังไว้ คือผู้อ่านเร่งความเร็วหลังจากผ่านตำแหน่งของจุด เอกลักษณ์แค่เพียงในคำที่ยาวๆเท่านั้น ทั้งนี้อาจเป็นเพราะว่าตำแหน่งของจุดเอกลักษณ์ ในคำที่สั้นนั้นอยู่ใกล้ตำแหน่งสุดท้ายของคำ นอกจากนี้เรายังพบอีกว่ามือหลักที่ใช้ในการ อ่านโดยการใช้เทคนิคในการเปลี่ยนส่วนของการแสดงผลบน refreshable braille display นั้นแสดงให้เห็นว่า ผู้อ่านที่ใช้มือขวาเป็นหลักในการอ่านนั้นสามารถรับข้อมูลที่แสดงทั้งสอง มือได้ดีกว่าผู้อ่านที่ใช้มือซ้ายเป็นหลัก การทดลองสุดท้ายได้แสดงหลักฐานที่บ่งบอกได้ว่า ผู้ที่อ่านภาษาเบลล์ได้คล่องแคล่ว อาจจะมีการใช้สมองส่วนของการรับรู้เสียงมาเกี่ยวข้องในการอ่านภาษาเบลล์ด้วย ซึ่งเป็น ไปตามสมมุติฐานที่ตั้งไว้ จากการทดลองนี้แสดงให้เห็นว่า การใช้เสียงที่ผลิตจากช่วงความ ถี่ของการอ่านภาษาเบลล์ (10-30 Hz) นั้นมีส่วนช่วยในการอ่านให้เร็วขึ้นโดยเฉพาะในผู้ ที่อ่านภาษาเบลล์ได้คล่องแคล่ว ดังนั้นเราอาจจะใช้ความรู้ที่ได้นี้ไปประยุกต์ใช้กับผู้ที่อ่าน ช้าเพื่อที่จะสร้างการเชื่อมต่อช่องทางระหว่างส่วนของการรับรู้ที่ประมวลผลในส่วนของ การได้ยินกับส่วนของการรับรู้ที่ประมวลผลในส่วนของการสัมผัสเพื่อที่จะยกระดับ ความสามารถในการอ่านภาษาเบลล์ให้มีประสิทธิภาพมากยิ่งขึ้น