Link¨opingStudies in Science and Technology Dissertations. No. 1902 Efficient HTTP-based Adaptive Streaming of Linear and Interactive Videos by Vengatanathan Krishnamoorthi Department of Computer and Information Science Link¨opingUniversity SE-581 83 Link¨oping,Sweden Link¨oping2018 Copyright © 2018 Vengatanathan Krishnamoorthi ISBN 978-91-7685-371-9 ISSN 0345{7524 Popul¨arvetenskaplig sammanfattning together with Marcus Bendtsen Printed by LiU Tryck 2018 URL: http://urn.kb.se/resolve?urn=urn:nbn:se:liu:diva-143802 Abstract Online video streaming has gained tremendous popularity over recent years and currently constitutes the majority of Internet traffic. As large-scale on- demand streaming continues to gain popularity, several important questions and challenges remain unanswered. This thesis addresses open questions in the areas of efficient content delivery for HTTP-based Adaptive Streaming (HAS) from different perspectives (client, network and content provider) and in the design, implementation, and evaluation of interactive streaming applications over HAS. As streaming usage scales and new streaming services emerge, continu- ous improvements are required to both the infrastructure and the techniques used to deliver high-quality streams. In the context of Content Delivery Network (CDN) nodes or proxies, this thesis investigates the interaction be- tween HAS clients and proxy caches. In particular, we propose and evaluate classes of content-aware and collaborative policies that take advantage of information that is already available, or share information among elements in the delivery chain, where all involved parties can benefit. Asides from the users' playback experience, it is also important for content providers to min- imize users' startup times. We have designed and evaluated different classes of client-side policies that can prefetch data from the videos that the users are most likely to watch next, without negatively affecting the currently watched video. To help network providers to monitor and ensure that their customers enjoy good playback experiences, we have proposed and evaluated techniques that can be used to estimate clients' current buffer conditions. Since several services today stream over HTTPS, our solution is adapted to predict client buffer conditions by only observing encrypted network-level traffic. Our solution allows the operator to identify clients with low-buffer conditions and implement policies that help avoid playback stalls. The emergence of HAS as the de facto standard for delivering stream- ing content also opens the door to use it to deliver the next generation of streaming services, such as various forms of interactive services. This class of services is gaining popularity and is expected to be the next big thing in entertainment. For the area of interactive streaming, this thesis pro- poses, models, designs, and evaluates novel streaming applications such as interactive branched videos and multi-video stream bundles. For these ap- plications, we design and evaluate careful prefetching policies that provides seamless playback (without stalls or switching delay) even when interactive branched video viewers defer their choices to the last possible moment and when users switches between alternative streams within multi-video stream bundles. Using optimization frameworks, we design and implement effective buffer management techniques for seamless playback experiences and eval- uate several tradeoffs using our policies. The work was supported by the Swedish Graduate School in Computer Science (CUGS), the Center for Industrial Information Technology (CENIIT), and the Swedish Research Council (Vetenskapsr˚adet). Popul¨arvetenskaplig sammanfattning Internet och World Wide Web (WWW) har vuxit till viktiga h¨ornstenari v˚artsamh¨alle.Vi anv¨anderdem f¨orallt fr˚ankommunikation, bank¨arenden, utbildning, f¨oretagsverksamhet, arkivering till underh˚allningsamt m˚anga andra applikationer. V˚artsamh¨allef¨or¨andrasst¨andigtav tillstr¨omningen av nya applikationer som utnyttjar denna globala kommunikations- och in- formationsinfrastruktur. Vi har till exempel bevittnat hur e-post och pro- gram f¨orsnabbmeddelanden f¨orvandlat mellanm¨anskligkommunikation, och hur elektroniska nyhetsmedier har ersatt tryckta nyheter. P˚aliknande s¨att har videostr¨omningvia Internet f¨or¨andrattv och underh˚allningsindustrin de senaste ˚aren. Aven¨ om flera videostr¨omningsprogram¨over Internet har existerat tidi- gare, s˚ahar dagens standard f¨orstr¨omning,HTTP-baserad Adaptiv Str¨omn- ing (HAS), blivit s˚apopul¨aratt den ¨aransvarig f¨orden st¨orstaandelen data som ¨overf¨orsvia Internet. Studier har visat att ¨over 70% av den to- tala nedladdade datam¨angden¨over Internet kan knytas till videostr¨omning. Denna andel f¨orv¨antas att ¨oka under de n¨armaste˚aren. HAS anv¨ander HTTP-protokollet f¨oratt ladda ner videodata, vilket ¨ardet protokoll som ursprungligen utvecklades f¨oratt ladda ner webbsidor. Genom att anv¨anda HTTP kan HAS utnyttja flera teknologier som utvecklades f¨orwebbtrafik, till exempel content distribution networks, cachar, serverkluster, etc. Dessu- tom stoppas inte heller vanlig webbtrafik som kommer fr˚anklienter av brandv¨aggarhos n¨atoperat¨orer,eftersom de ¨arkritiska f¨oratt deras kun- der ska ha fortsatt anslutning till webben. HAS ¨arocks˚aett klientdrivet protokoll, vilket innb¨aratt klienten m˚astebeg¨araall information som den beh¨over. Klientstyrd nedladdning, m¨ojlighetenatt anv¨andainfrastruktur som utvecklades f¨ortraditionellt webbinneh˚allsamt anpassning av uppspel- ningskvalitet f¨oratt matcha den tillg¨angligabandbredden ¨arkanske de mest karakt¨aristiska funktionerna i HAS. F¨oratt effektivt kunna skala till massiva datam¨angderkr¨avsnoga genom- t¨anktal¨osningarvid utformningen av nedladdningsalgoritmer p˚aklientsidan och infrastrukturen f¨ordataleverans. Den f¨orstadelen av denna avhandling bidrar till detta forskningsomr˚ade. F¨orstunders¨oker vi hur HAS klienter och cachar interagerar. Genom experiment identifierar vi b˚adepositiva och negativa aspekter av denna interaktion. Baserat p˚av˚araslutsatser f¨oresl˚ar vi nya HAS-medvetna strategier (d¨arcachen f¨ors¨oker f¨orutsevilken del av videoklippet klienten kommer att beg¨arah¨arn¨ast)och samarbetsstrategier (d¨arklienten och cachen delar information) som kan bidra till att f¨orb¨attra tittarupplevelsen. F¨orutomen bra uppspelningsupplevelse f¨orv¨antar sig tit- tarna ocks˚amycket l˚agauppstartstider (den tid det tar fr˚anatt anv¨andaren valt att se en video till att den b¨orjaspela). I detta avseende har vi unders¨oktid´enatt h¨amta inneh˚alli f¨orv¨agfr˚anrekommenderade videok- lipp medan anv¨andarentittar p˚aen video. Genom att noggrant styra n¨ar dessa nedladdningar sker har vi ocks˚avisat att uppspelningsupplevelsen av den aktuella videon ocks˚akan f¨orb¨attras.N¨atverksoperat¨orersom tillhan- dah˚allertillg˚angtill Internet (b˚adetr˚adbundnaoch tr˚adl¨osa)har i allm¨anhet m¨ojlighetenatt finjustera sina n¨atverk f¨oratt hantera och optimera dem. Men eftersom de flesta str¨ommandetj¨ansteridag anv¨anderden krypterad versionen av HTTP (k¨ant som HTTPS) har operat¨orenreducerats till en simpel kanal f¨orstr¨ommandedata. I ett av v˚arabidrag visar vi hur en n¨atop- erat¨orkan f˚ainformation om klientens buffertf¨orh˚allandengenom att samla in statistik av HTTPS-f¨orfr˚agningar och svar. Genom att erh˚alla denna information kan n¨atoperat¨orenb¨attrehj¨alpaklienter att undvika tillf¨alliga stopp i uppspelningen ¨aven om traffiken ¨arkrypterad. Den andra delen av denna avhandling behandlar interaktiva str¨ommande tekniker med HAS. Interaktiv videostr¨omning¨aren ny applikation d¨ar tittaren f˚arinteragera med videospelaren. Interaktionen kan g¨orasmed klickbara objekt i videon, till exempel en kaffemaskin d¨artittaren kan best¨am- ma vilken typ av kaffe en karakt¨arska dricka med hj¨alpav knapparna p˚akaf- femaskinen. Genom att till˚atatittaren att interagera vid specifika tillf¨allen i videon kan skaparen till˚ataolika handlingar med potentiellt olika slut, baserat p˚atittarens smak och tycke. Vi ¨arde f¨orstasom formaliserar prob- lemet med interaktiv f¨orgrenadstr¨omning med HAS och vi f¨oresl˚arl¨osningar f¨oroptimerade nedladdningar, bufferthantering samt nedladdning av data i f¨orv¨ag. Detta g¨oratt tittaren upplever en j¨amnuppspelning av videon. M¨ojligenav st¨orrevikt ¨aratt v˚aral¨osningars¨akerst¨alleratt inga stopp i uppspelningen sker under den vanliga uppspelning eller under ¨overg˚angar till nya grenar. F¨orden intresserade tittaren vill vi upplysa om att Netflix sl¨appteett interaktivt avsnitt av "Puss in Boots" under 2017. Denna avhandling bidrar ocks˚atill att formalisera en annan interaktiv streamingteknik som kallas multi-video stream bundles. H¨arbehandlar vi ett scenario d¨arflera kameror t¨acker en h¨andelse,till exempel ett sporteven- emang eller en konsert. Med multi-video stream bundles f˚aranv¨andaren m¨ojlighetatt sj¨alvv¨aljafr˚anen m¨angdav str¨ommar. N¨aranv¨andaren best¨ammersig f¨oratt se en ny str¨omerbjuds den nya vyn, men vid samma tidpunkt som f¨orden f¨oreg˚aendevideon. Vi har utvecklat bufferthantering och l¨osningarf¨oratt h¨amta data i f¨orv¨agsom tar h¨ansyntill sannolikheten att en anv¨andarekommer byta str¨om,f¨oratt s¨akerst¨allaatt uppspelningen och ¨overg˚angen¨arfri fr˚antillf¨alliga stopp. Acknowledgments Life as a PhD student is a fascinating journey of personal change and devel- opment. Yet, it is the people around you that have a large part in shaping this experience. Throughout my time as a PhD student,