Univerzitet u Novom Sadu Tehnički Fakultet „Mihajlo Pupin“ Zrenjanin METODE I POSTUPCI UBRZAVANJA OPERACIJA I UPITA U VELIKIM SISTEMIMA BAZA I SKLADIŠTA PODATAKA (BIG DATA SISTEMI) THE METHODS AND PROCEDURES FOR ACCELERATING OPERATIONS AND QUERIES IN LARGE DATABASE SYSTEMS AND DATA WAREHOUSES (BIG DATA SYSTEMS) - DOKTORSKA DISERTACIJA - mentor kandidat Prof. dr Biljana Radulović Mr Jovan Ivković Zrenjanin, 2016. godina Univerzitet u Novom Sadu Tehnički Fakultet „Mihajlo Pupin“ Zrenjanin METODE I POSTUPCI UBRZAVANJA OPERACIJA I UPITA U VELIKIM SISTEMIMA BAZA I SKLADIŠTA PODATAKA (BIG DATA SISTEMI) THE METHODS AND PROCEDURES FOR ACCELERATING OPERATIONS AND QUERIES IN LARGE DATABASE SYSTEMS AND DATA WAREHOUSES (BIG DATA SYSTEMS) - DOKTORSKA DISERTACIJA - mentor kandidat Prof. dr Biljana Radulović Mr Jovan Ivković Zrenjanin, 2016. godina UNIVERZITET U NOVOM SADU TEHNIČKI FAKULTET „MIHAJLO PUPIN“ ZRENJANIN KLJUČNA DOKUMENTACIJSKA INFORMACIJA Redni broj: RBR Identifikacioni broj: IBR Tip dokumentacije: Monografska dokumentacija TD Tip zapisa: Tekstualni štampani materijal TZ Vrsta rada (dipl., mag., dokt.): Doktorska disertacija VR Ime i prezime autora: Mr Jovan Ivković AU Mentor (titula, ime, prezime, zvanje): Prof. dr Biljana Radulović, redovni profesor MN „Metode i postupci ubrzavanja operacija i upita u Naslov rada: velikim sistemima baza i skladišta podataka (Big NR Data sistemi)“ Jezik publikacije: Srpski JP Jezik izvoda: Srp. / Eng. JI Zemlja publikovanja: Republika Srbija ZP Uže geografsko područje: AP Vojvodina UGP Godina: 2016. godina GO Izdavač: Autorski reprint IZ Tehnički fakultet „Mihajlo Pupin“, Mesto i adresa: Đure Đakovića bb, MA 23000 Zrenjanin, Republika Srbija Fizički opis rada: Broj poglavlja: 8 FO Broj stranica: 187 Broj slika (ilustracija):79 Broj tabela:13 Broj referenci: 157 Naučna oblast: Informacione tehnologije NO Naučna disciplina: Informacioni sistemi, računarske mreže, ND arhitektura informacionih sistema Informacioni sistemi, baze i skladišta podataka, računarski sistemi, računarske mreže, senzorske mreže i internet stvari („Internet of things“), softverska arhitektura masovno paralelizovanih Predmetna odrednica, ključne reči: sistema, generalno programabilni grafički PO akceleratori, mikrokontroleri i senzorski sistemi, istorijski razvoj računarskih sistema i baza podataka, arhitektura „BigData“ računarskih sistema, Cloud Computing, infrastruktura računarskih mreža. UDK U biblioteci Tehničkog fakulteta „Mihajlo Pupin“ u Zrenjaninu, Čuva se: Đure Đakovića bb, ČU 23000 Zrenjanin, Republika Srbija Važna napomena: VN Predmet istraživanja ove doktorske disertacije je mogućnost uspostavljanja modela Big Data sistema sa pripadajućom softversko – hardverskom arhitekturom za podršku senzorskim mrežama i IoT uređajima. Razvijeni model počiva na energetsko efikasnim, heterogenim, masovno paralelizovaim SoC hardverskim platformama, uz podršku softverske aplikativne arhitekture (poput OpenCL) za unifikovan rad. Pored aktuelnih hardverskih, softverskih i mrežnih računarskih tehnologija i arhitektura Izvod: namenjenih za rad podkomponenata IZ modelovanog sistema u radu je predstavljen istorijski osvrt na njihov razvoj. Time je naglašena tendencija cikličnog kretanja koncepcijskih paradigmi računarstva, kroz svojevrstne ere centralizacije – decentralizacije computinga. U radu su predstavljene tehnologije i metode za ubrzavanje operacija u bazama i skladištima podataka. Istražene su mogućnosti za bolju pripremu Big Data informacionih sistema koji treba da zadovolje potrebe novo najavljene informatičke revolucije opšte primene računarstva tzv. Ubiquitous computing-a i Interneta stvari (IoT). Datum prihvatanja teme od strane NN veća: ________________ DP Datum odbrane: DO član - predsednik: Doc. dr Dalibor Dobrilović, docent, Univerzitet u Novom Sadu, Tehnički fakultet „Mihajlo Pupin“, Zrenjanin član: Doc. dr Zoltan Kazi, docent, Univerzitet u Novom Sadu, Tehnički fakultet „Mihajlo Pupin“, Zrenjanin Članovi komisije: član: Doc. dr Eleonora Brtka, docent, Univerzitet (ime i prezime / titula / zvanje / u Novom Sadu, Tehnički fakultet „Mihajlo naziv organizacije / status) Pupin“, Zrenjanin KO član: Prof. Dr Alempije Veljović, redovni profesor, Univerzitet u Kragujevcu, Fakultet tehničkih nauka, Čačak član – mentor: Prof. dr Biljana Radulović, redovni profesor, Univerzitet u Novom Sadu, Tehnički fakultet „Mihajlo Pupin“, Zrenjanin UNIVERSITY OF NOVI SAD TECHNICAL FACULTY „MIHAILO PUPIN“ ZRENJANIN Key Words Documentation Accession number: ANO Identification number: INO Document type: Monograph documentation DT Type of record: Textual printed material TR Contents code: Doctoral disertation CC Author: Jovan Ivković, AU Magister of tehnical science Biljana Radulović, Ph.D, Full (regular) professor Mentor: at the Tehnical Faculty ”Mihajlo Pupin“ MN Zrenjanin “The methods and procedures for accelerating Title: operations and queries in large database systems TI and data warehouses ( Big Data Systems )” Language of text: Serbian LT Language of abstract: eng. / serb. LA Country of publication: Republic of Serbia CP Locality of publication: AP Vojvodina LP Publication year: 2016 PY Publisher: The author’s reprint PU Tehnical faculty"Mihajlo Pupin", Publication place: Đure Đakovića bb, PP 23000 Zrenjanin, Republic od Serbia Number of chapters: 8 Number of pages:187 Physical description: Number of ilustrations:79 PD Number of tables:13 Number of references: 157 Scientific field Information tehnologies SF Scientific discipline Information systems, computer networks SD computer systems arhitecture Computer systems, information systems, Data Base and Data Warehouses, computer networks, Internet of Things and sensor networks, software architecture of massive parallelized systems, Subject, Key words General-Purpose Computation on Graphics SKW Procesing Unit, microcontrollers and sensor networks, historical development of computer and Data Base systems, arhitecture of Big Data systems, Cloud Computing, computer networks infrastructure. UC In the library of Tehnical faculty"Mihajlo Pupin", Holding data: Đure Đakovića bb, HD 23000 Zrenjanin, Republic od Serbia Note: N The research topic of this doctoral thesis is the possibility of establishing a model for Big Data System with corresponding software-hardware architecture to support sensor networks and IoT devices. The developed model is based on energy efficient, heterogeneous, massively parallelized SoC hardware platforms, with the support of software application architecture. (Such as an open CL) for unified operation. In addition to current hardware, software and network computing technologies, and architecture intended to operate subcomponents of the system modeled in this paper is presented Abstract: as an historical overview of their development. AB Which emphasizes the tendency of the cyclic movement of the conceptual paradigm of computing, through the unique era of centralization/decentralization of computing. The thesis presents the technology and methods to accelerate operations in databases and data warehouses. We also investigate the possibilities for a better preparation of Big Data information systems to meet the needs of the newly announced IT revolution in the announced general application of computing called Ubiquitous computing and the Internet of Things (IoT). Accepted on Scientific Board on: ________________ AS Defended: DE Member -president: Doc. dr Dalibor Dobrilović, Ph.D, assistant professor, University of Novi Sad Technical faculty „Mihajlo Pupin“, Zrenjanin Member: Doc. dr Zoltan Kazi, Ph.D, assistant professor, University of Novi Sad, Technical faculty „Mihajlo Pupin“, Zrenjanin Member: Doc. dr Eleonora Brtka, Ph.D, assistant Thesis Defend Board: professor, University of Novi Sad, Technical DB faculty „Mihajlo Pupin“, Zrenjanin Member:Alempije Veljović, Ph.D, full professor, University of Kragujevac, Faculty of Technical Sciences, Cacak Member - mentor: Biljana Radulović, Ph.D, Full professor, University of Novi Sad Tehnical Faculty “Mihajlo Pupin”, Zrenjanin Jovan Ivković – Doktorska disertacija Zahvalnica Mentoru Prof. dr Biljani Radulović na podršci, sugestijama i savetima. Članovima komisije Prof. dr Alempiju Veljoviću, doc.dr Daliboru Dobriloviću, doc. dr Eleonori Brtki i doc. dr Zoltanu Kaziju na pomoći. Zahvaljujem se prof. dr Borislavu Odadžiću na savetima i sugestijama. Veliko hvala mojoj supruzi Jeleni na svoj pomoći i podršci koju mi je pružila, njoj posvećujem ovu disertaciju. I Jovan Ivković – Doktorska disertacija Sadržaj Uvodna reč ................................................................................................................................. 1 1. Istorijski razvoj i teoretske osnove ...................................................................................... 4 1.1 Big Data sistemi ........................................................................................................ 4 1.1.1 Veliki mainframe sistemi .......................................................................................... 4 1.1.2 Razvoj baza podataka ............................................................................................. 11 1.1.3 Razvoj PC arhitekture ............................................................................................. 19 1.1.4 Razvoj računarskih mreža i interneta ....................................................................... 24 1.1.5 Distribuirani, Grid i Cloud Computing .................................................................... 32 1.1.6 Distribuirani file sistemi