Unzensierbarkeit, Selbstbestimmung, Erweiterte Möglichkeiten

Total Page:16

File Type:pdf, Size:1020Kb

Unzensierbarkeit, Selbstbestimmung, Erweiterte Möglichkeiten Freie Suchmaschinen für freie Daten: Unzensierbarkeit, SearchEngine Selbstbestimmung, erweiterte Möglichkeiten Michael Christen, [email protected] Summit Of New Thinking, 16.11.2012 Station Berlin, Berlin Abstract SearchEngine Suchmaschinen sind durch ihre Ergebnisauswahl meinungsbildend, sie führen uns durch das Ergebnisranking selektiv zu Informationen und beeinflussen letztendlich Normen und Werte von Gemeinschaften. Die Nutzer sind es gewohnt, dass Suchportale für sie bereitgestellt werden, aber welche Vorteile kann es haben, wenn die Nutzer selbst die Suchmaschine für sich und andere bereitstellen? Zwischen Open Data und dem Nutzer sollte eine eine freie Suche existieren und der Vortrag zeigt, u.a. in live-Demos, wie dies jede(r) leicht selbst machen kann. So manche mögliche Anwendungen von Suchmaschinentechnik wird von den Suchportalen nicht angeboten und das hat ggf. wirtschaftliche und politische Gründe: eigene Relevanz-Regeln, Suchergebnisse mit themenorientierter Ergebnisnavigation, Datei-Suche im Internet und im Intranet mit integriertem Massen-Downloader, virtuelles Browsen auf Webservern wie auf Fileservern und der persönliche Nachrichtendienst ist einfach zu realisieren. Der Vortrag macht die Zuhörer mit der freien Software Solr und YaCy sowie mit Suchmaschinentechnik im allgemeinen vertraut. YaCy ermöglicht außerdem die Peer-to-Peer Vernetzung der Suchmaschinennutzer und erzeugt damit ein dezentrales, unzensierbares Suchmaschinennetz. Es werden Wissensmanagement-Methoden mit Hilfe von Suchmaschinen und alternative Visualisierungen von Suchergebnissen gezeigt. Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net Bürgerrechte für eine nachhaltige Wissensgesellschaft: UNO Weltgipfel zur Informationsgesellschaft 2003 Beitrag der Heinrich-Böll-Stiftung (a) Wissen ist Erbe und Besitz der Menschheit und damit frei. (b) Der Zugriff auf Wissen muss frei sein. (c) Alle Menschen haben das Recht auf Kommunikation und Informationsfreiheit. (d) Das Recht auf Achtung der Privatheit ist ein Menschenrecht und ist unabdingbar für die freie und selbstbestimmte Entfaltung von Menschen in der Wissensgesellschaft. aus: http://www.worldsummit2003.de/de/web/52.htm Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net (zentrale) Suchportale ... können Verhaltensprofile der Benutzer anlegen ... Zensur, Verschleierung, Verschmutzung möglich ... besitzen (genau wie ,Clouds‘) Personendaten Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net Zugriff auf Wissen Brücke zwischen Daten und Nutzer freie Daten können nur dann wirklich frei sein wenn sie mit freier Software gefunden werden können freie Daten Suche Nutzer u.a.: Suchmaschinenmonopol: Der Nutzer ist auf die Existenz und korrekte freie Software proprietäre und Funktion proprietärer, zentralisierte Technik, zentralisierter und Daten unter Creative Aufzeichnung aller kontrollierter Suchportale Commons Lizenz Datenspuren, Zensur, angewiesen, um freie Open Access Archive Filterung, Löschung, Inhalte finden zu können Verschmutzung durch Werbung Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net Zugriff auf Wissen Brücke zwischen Daten und Nutzer freie Daten können nur dann wirklich frei sein wenn sie mit freier Software gefunden werden können freie Daten Suche Nutzer Ordnung Ranking Relevanz Gemeinschaft In einer geschlossenen Gemeinschaft existieren bestimmte Relevanz- kriterien. Ranking beeinflusst Normen und Werte einer Gemeinschaft! Suchmaschinen haben einen kulturellen Einfluss auf Gemeinschaften! Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net Die eigene Suchmaschine Unabhängigkeit ...von zentralen Suchportalen: den eigenen Suchindex erstellen und die Suchfunktionen den eigenen Anforderungen anpassen. Privatsphäre ...Du bist der Suchmaschinenbetreiber: niemand sonst beobachtet die Nutzung! Informationsfreiheit keine Zugriffsgrenzen, keine Zensur, keine Filter, keine Beobachtung durch andere Betreiber, keine ,Verschmutzung‘ (Werbung) und die eigene Relevanz Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net Wissen wie Suchmaschinen funktionieren search server web interface I crawler search index api robots balancer queues schema facets opensearch gsa solr network interfaces ranking moderation monitoring file http ftp smb oai-pmh I/O requests Disk/RAM document cache doc parser pdf administration/ xls html rss zip eml steering Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net Web-Suche Projekt- und Unternehmensdaten Peer-to-Peer- Suche für Intranet- und Suche Web-Portal Filesuche den Suchindex geteiltes Wissen Konsolidierung mit anderen für verteilte der Datenablage teilen Systeme (ftp/smb-Suche) Zuflucht für Nachrichten- SEO & Web- gefährdete dienste Admin Tools Daten automatisches fremde Server z.B. torrents Suchen ohne durchstöbern Suchananfrage und Strukturen analysieren Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net Peer-to-Peer- A Search Engine Cluster consist of Suche independent search engines in the form of a search matrix. den Suchindex mit anderen teilen Search Engine Cluster Search Search Search Search Search Engine Engine Engine Engine Engine Search Search Search Search Search Engine Engine Engine Engine Engine Search Search Search Search Search Engine Engine Engine Engine Engine verticalscaling: moreperformance horizontal scaling: more documents Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net Peer-to-Peer- We want to take the search Suche matrix out of the data center to your home. den Suchindex mit anderen teilen Search Search Search Search Search EnginePeer EnginePeer EnginePeer EnginePeer EnginePeer Search Search Search Search Search EnginePeer EnginePeer EnginePeer EnginePeer EnginePeer Search Search Search Search Search EnginePeer EnginePeer EnginePeer EnginePeer EnginePeer Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net Peer-to-Peer- The YaCy Search Engine Cluster Suche consist of independent search engines, but they are connected den Suchindex in an efficient way using a mit anderen distributed hash table. teilen Peer Peer Peer Peer Peer Peer Peer Crawl the web, create a DHT Search in a web index, distribute Peer Distributed Hash Table Peer Distributed Hash Table the index Peer Peer Peer Peer DHT-Store DHT-Read Peer Peer Peer Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net Peer-to-Peer- Everyone can join the network. Suche Eveyone can contribute to the search index. Nobody can censor the global index. den Suchindex mit anderen teilen Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net Web-Suche Projekt- und Unternehmensdaten Peer-to-Peer- Suche für Intranet- und Suche Web-Portal Filesuche den Suchindex geteiltes Wissen Konsolidierung mit anderen für verteilte der Datenablage teilen Systeme (ftp/smb-Suche) Zuflucht für Nachrichten- SEO & Web- gefährdete dienste Admin Tools Daten automatisches fremde Server z.B. torrents Suchen ohne durchstöbern Suchananfrage und Strukturen analysieren Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net - Vernetzung von Wissen Suche für - Vernetzung von Menschen Web-Portal SearchEngine geteiltes Wissen für verteilte Systeme Suchmaschine technologische Ebene (,wie setze ich Technik ein‘) soziotechnische Ebene (,wie gehe ich mit Technik um‘) Create and Share Produktion Dokumente Projektsteuerung Versionskontrolle (micro)Blogging Vernetzung von Wissen Vernetzung von Vernetzung von Menschen Vernetzung Discussion Bugtracker Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net YaCy als Suchappliance mit vielfältiger Datenerfassung Viele Datenerfassungsfunktionen - Crawler für http(s), ftp, smb, robots.txt-compliant, Web Cache - Netzwerkscanner für Intranet, viele Parser! - RSS Feed Importer, OAI-PMH Importer, Import von Dublin Core Freie Suchmaschinen für freie Daten:
Recommended publications
  • The Autonomous Surfer
    Renée Ridgway The Autonomous Surfer CAIS Report Fellowship Mai bis Oktober 2018 GEFÖRDERT DURCH RIDGWAY The Autonomous Surfer Research Questions The Autonomous Surfer endeavoured to discover the unknown unknowns of alternative search through the following research questions: What are the alternatives to Google search? What are their hidden revenue models, even if they do not collect user data? How do they deliver divergent (and qualitative) results or knowledge? What are the criteria that determine ranking and relevance? How do p2p search engines such as YaCy work? Does it deliver alternative results compared to other search engines? Is there still a movement for a larger, public index? Can there be serendipitous search, which is the ability to come across books, articles, images, information, objects, and so forth, by chance? Aims and Projected Results My PhD research investigates Google search – its early development, its technological innovation, its business model of the past 20 years and how it works now. Furthermore, I have experimented with Tor (The Onion Router) in order to find out if I could be anonymous online, and if so, would I receive diver- gent results from Google with the same keywords. For my fellowship at CAIS I decided to first research search engines that were incorporated into the Tor browser as default (Startpage, Disconnect) or are the default browser now (DuckDuckGo). I then researched search engines in my original CAIS proposal that I had come across in my PhD but hadn’t had the time to research; some are from the Society of the Query Reader (2014) and others I found en route or on colleagues’ suggestions.
    [Show full text]
  • Einführung in Die Installation Eigener Suchmaschinen-Software Mit Yacy +
    SuMa-eV Praxis Workshop: YaCy Einführung in die Installation eigener Suchmaschinen-Software mit YaCy Features + Demo hier zum Nachlesen im Anschluss zum mitmachen SuMa-eV-Kongress 2010 Praxis Workshop: Michael Christen Einführung in die Installation eigener Suchmaschinen-Software mit YaCy http://yacy.net Zielgruppe und Anwendungen •Anwendungsbereiche alle Zielgruppen Suchmaschinen-Dezentralisierung: Software für Software für Peer-to-Peer Websuche Suchportal im Internet Suchmaschine im Intranet •Mögliche Datenquellen: unterstütze Protokolle jede Datenquelle Web-Standards HTTP, HTTPS, FTP anzapfen Filesystem Filesystem, SMB-Shares, Indexdateien (Dublin Core / XML) Datenbanken Import aus Wikimedia-Dumps, Retrieval aus Datenbanken Harvesting RSS-Feed Client, OAI-PMH Import für •Integrationsmöglichkeiten des Suchinterfaces Entwickler interessant APIs Opensearch (Suchergebnisse per RSS), JSON, AJAX-Tools Tools Such-Widget, fertige Code-Snippets für eingebettete Suche SuMa-eV-Kongress 2010 Praxis Workshop: Michael Christen Einführung in die Installation eigener Suchmaschinen-Software mit YaCy http://yacy.net Beispiel: Suchportale mit YaCy linuxtag.org linux-club.de geoclub.de fsfe.org metager + metager2 YaCy ist schnell! SuMa-eV-Kongress 2010 Praxis Workshop: Michael Christen Einführung in die Installation eigener Suchmaschinen-Software mit YaCy http://yacy.net Beispiel: Open Access Repository Harvesting 2000 Open Access Repositories OAI-PMH Import Dublin Core OA-Suche; ca. 8.800.000 Metadaten eBooks in demo-Suche auf http://oai.yacy.net Anleitung um diesen (web) Suchindex Dienst selber zu erstellen: http://yacy.net/oai.html Datenquellen zu OAI Servern: Anwendungen: http://roar.eprints.org • dezentrale OAI Repository Suche http://www.openarchives.org/Register/ListFriends • Suche für Virtuelle Fachbibliotheken SuMa-eV-Kongress 2010 Praxis Workshop: Michael Christen Einführung in die Installation eigener Suchmaschinen-Software mit YaCy http://yacy.net Beispiel: Suchseite SRU API für Suchergebnis als RSS bzw.
    [Show full text]
  • List of Search Engines
    A blog network is a group of blogs that are connected to each other in a network. A blog network can either be a group of loosely connected blogs, or a group of blogs that are owned by the same company. The purpose of such a network is usually to promote the other blogs in the same network and therefore increase the advertising revenue generated from online advertising on the blogs.[1] List of search engines From Wikipedia, the free encyclopedia For knowing popular web search engines see, see Most popular Internet search engines. This is a list of search engines, including web search engines, selection-based search engines, metasearch engines, desktop search tools, and web portals and vertical market websites that have a search facility for online databases. Contents 1 By content/topic o 1.1 General o 1.2 P2P search engines o 1.3 Metasearch engines o 1.4 Geographically limited scope o 1.5 Semantic o 1.6 Accountancy o 1.7 Business o 1.8 Computers o 1.9 Enterprise o 1.10 Fashion o 1.11 Food/Recipes o 1.12 Genealogy o 1.13 Mobile/Handheld o 1.14 Job o 1.15 Legal o 1.16 Medical o 1.17 News o 1.18 People o 1.19 Real estate / property o 1.20 Television o 1.21 Video Games 2 By information type o 2.1 Forum o 2.2 Blog o 2.3 Multimedia o 2.4 Source code o 2.5 BitTorrent o 2.6 Email o 2.7 Maps o 2.8 Price o 2.9 Question and answer .
    [Show full text]
  • Yacy Anwendungen Und Anwender
    YaCy Installation & Betrieb Suchmaschinensoftware ‣ unzensierbare Peer-to-Peer Suchmaschine Installation ‣ verteilter Web-Index, skaliert mit Userzahl YaCy ist in Java geschrieben ‣ auch als Themen- und Intranetsuche und wird als debian-Package, als tar.gz (für Mac und Linux) ‣ API zur Integration (xml/json über http) und als Windows-Installer kostenlos angeboten. Das Programm wird einfach über ein Wrapper-Script gestartet und der eingebaute Webserver zeigt die Administrationsseiten von YaCy an. YaCy Console mit Monitoring auf localhost:8080 Konfiguration Die Teilnahme am dezentralen Peer-to-Peer Netz ist per selbstständig Standard voreingestellt. Ein skalierendes Umschalten auf den Betrieb als Suchmaschinen- Portalpeer für die Indexierung Cluster nur eigener Daten oder als Intranet Suchserver ist ganz leicht. Den Suchindex erhält YaCy über einen Crawl-Start oder mit speziellen Daten- imports für Wikis oder Foren. YaCy Suchergebnis mit Navigatoren Vergleichen - YaCy und kommerzielle Suchmaschinen-Appliances: • 60 Millionen Dokumente in einem YaCy Peer und mehr ist möglich. • Die Suchfrequenz kann pro YaCy Peer 10 QPS (queries per second) betragen freie Websuche: Dezentralisierung • Das kommerzielle FAST ESP (Microsoft) ist auf 15 Mio Dokumente technisch begrenzt und die Google Search Appliance (GSA) GB-7007 auf 10 Mio; die GB-9009 ist auf 30 Mio. Dokumente begrenzt. Lizenzen sind recht teuer. Spezialisierte Suchportale • YaCy ist quelloffen und kostenlos! Download http://yacy.net SearchEngine Free Software - Open Source / GPL-Lizenz - Support über forum.yacy.de @home Intranet- und Filesystemsuche YaCy Anwendungen und Anwender freie Websuche: Dezentralisierung Spezialisierte Suchportale Das Karlsruhe Institut für Technologie betreibt ein YaCy-Netz aus über 30 Rechnern zur Erfassung von 300 Millionen universitärer und wissenschaftlichen Webseiten – http://sciencenet.fzk.de Der http://geoclub.de (Forum zum Thema Geocaching) hat eine YaCy-Suche zu Geocaching-Themen prominent eingebunden.
    [Show full text]
  • University of Oklahoma Graduate College
    UNIVERSITY OF OKLAHOMA GRADUATE COLLEGE RELEVANCE AND PRIVACY IMPROVEMENTS TO THE YACY DECENTRALIZED WEB SEARCH ENGINE A THESIS SUBMITTED TO THE GRADUATE FACULTY in partial fulfillment of the requirements for the Degree of MASTER OF SCIENCE By JEREMY RAND Norman, Oklahoma 2018 RELEVANCE AND PRIVACY IMPROVEMENTS TO THE YACY DECENTRALIZED WEB SEARCH ENGINE A THESIS APPROVED FOR THE SCHOOL OF COMPUTER SCIENCE BY Dr. Dean Hougen, Chair Dr. Qi Cheng Dr. Sridhar Radhakrishnan © Copyright by JEREMY RAND 2018 This work is licensed under the Creative Commons Attribution-ShareAlike 4.0 International License. To view a copy of this license, visit https://creativecommons.org/licenses/by-sa/4.0/ or send a letter to Creative Commons, PO Box 1866, Mountain View, CA 94042, USA. \. dedicated to all the people who are out there unfucking the Internet." { Giordano Nanni Historian, Journalist, Founder of The Juice Media, Co-Creator of Juice Rap News. https://www.youtube.com/watch?v=5b5W_U8RBDI Acknowledgements We'd like to thank Ryan Castellucci and midnightmagic for some fascinating and productive discussions regarding anti-Sybil mechanisms. iv Contents Acknowledgements iv Abstract vii 1 Introduction to Decentralized Web Search 1 1.1 Background on Search Engines, Civil Liberties, and Decentralization . 1 1.2 Motivation for Decentralized Web Search ................ 3 1.2.1 Censorship Resistance ...................... 3 1.2.2 Privacy .............................. 3 1.2.3 Decentralization .......................... 4 1.2.4 Transparency ........................... 4 1.2.5 Software Freedom ......................... 5 1.3 Our Contributions to YaCy ....................... 5 2 Related Work 6 2.1 Decentralized Web Search ........................ 6 2.2 Supervised Learning ........................... 7 3 Learning-Related Relevance Improvements 8 3.1 Ranking Transparency .........................
    [Show full text]
  • Web Search Engine
    Web Search Engine Bosubabu Sambana, MCA, M.Tech Assistant Professor, Dept of Computer Science & Engineering, Simhadhri Engineering College, Visakhapatnam, AP-531001, India. Abstract: This hypertext pool is dynamically changing due to this reason it is more difficult to find useful The World Wide Web (WWW) allows people to share information.In 1995, when the number of “usefully information or data from the large database searchable” Web pages was a few tens of millions, it repositories globally. We need to search the was widely believed that “indexing the whole of the information with specialized tools known generically Web” was already impractical or would soon become as search engines. There are many search engines so due to its exponential growth. A little more than a available today, where retrieving meaningful decade later, the GYM search engines—Google, information is difficult. However to overcome this problem of retrieving meaningful information Yahoo!, and Microsoft—are indexing almost a intelligently in common search engines, semantic thousand times as much data and between them web technologies are playing a major role. In this providing reliable sub second responses to around a paper we present a different implementation of billion queries a day in a plethora of languages. If this semantic search engine and the role of semantic were not enough, the major engines now provide much relatedness to provide relevant results. The concept higher quality answers. of Semantic Relatedness is connected with Wordnet which is a lexical database of words. We also For most searchers, these engines do a better job of made use of TF-IDF algorithm to calculate word ranking and presenting results, respond more quickly frequency in each and every webpage and to changes in interesting content, and more effectively Keyword Extraction in order to extract only useful eliminate dead links, duplicate pages, and off-topic keywords from a huge set of words.
    [Show full text]
  • Evaluating the Suitability of Web Search Engines As Proxies for Knowledge Discovery from the Web
    Available online at www.sciencedirect.com ScienceDirect Procedia Computer Science 96 ( 2016 ) 169 – 178 20th International Conference on Knowledge Based and Intelligent Information and Engineering Systems, KES2016, 5-7 September 2016, York, United Kingdom Evaluating the suitability of Web search engines as proxies for knowledge discovery from the Web Laura Martínez-Sanahuja*, David Sánchez UNESCO Chair in Data Privacy, Department of Computer Engineering and Mathematics, Universitat Rovira i Virgili Av.Països Catalans, 26, 43007 Tarragona, Catalonia, Spain Abstract Many researchers use the Web search engines’ hit count as an estimator of the Web information distribution in a variety of knowledge-based (linguistic) tasks. Even though many studies have been conducted on the retrieval effectiveness of Web search engines for Web users, few of them have evaluated them as research tools. In this study we analyse the currently available search engines and evaluate the suitability and accuracy of the hit counts they provide as estimators of the frequency/probability of textual entities. From the results of this study, we identify the search engines best suited to be used in linguistic research. © 20162016 TheThe Authors. Authors. Published Published by by Elsevier Elsevier B.V. B.V. This is an open access article under the CC BY-NC-ND license (http://creativecommons.org/licenses/by-nc-nd/4.0/). Peer-review under responsibility of KES International. Peer-review under responsibility of KES International Keywords: Web search engines; hit count; information distribution; knowledge discovery; semantic similarity; expert systems. 1. Introduction Expert and knowledge-based systems rely on data to build the knowledge models required to perform inferences or answer questions.
    [Show full text]
  • Comparative Study of Search Engines
    “COMPARATIVE STUDY OF SEARCH ENGINES USEFUL FOR LIBRARIANS” A Dissertation Submitted to the Tilak Maharashtra Vidyapeeth, Pune For Master of Philosophy (M.Phil.) In LIBRARY AND INFORMATION SCIENCE Submitted By Mr. SUSHANT KORE Under the Guidance of Dr. N. B. DAHIBHATE Principal Technical Officer Information Division (DIRC) National Chemical Laboratory, Pune TILAK MAHARASHTRA VIDYAPETH DEPARTMENT OF LIBRARY AND INFORMATION SCIENCE PUNE - 411 037. December, 2014 DECLARATION I hereby declare that the dissertation entitled “Comparative study of search engines useful for librarians” completed by me for the degree of Master of Philosophy in library and Information Science. The entire work embodied in this thesis has been carried out by me under the guidance of Dr. N.B. Dahibhate, National Chemical Laboratory, and Digital Information Resource Center (DIRC), Pune. (Mr. Sushant Kore) Research Student (M.Phil.) Place: Pune Date: 26th December, 2014 CERTIFICATE This is to certify that the thesis entitled “Comparative study of search engines useful for librarians” which is being submitted herewith for the award of the Degree of Master of Philosophy (M.Phil.) in Library and Information Science of Tilak Maharashtra Vidyapeeth, Pune is the result of original research work completed by Mr. Sushant Kore under my supervision and guidance. To the best of my knowledge and belief the work incorporated in this thesis has not formed the basis for award of any Degree or similar title of this or any other University or examining body. (Dr. N.B. Dahibhate) Principal Technical Officer Information Division (DIRC) NCL, Pune Place: Pune Date: 26th December , 2014 ACKNOWLEDGEMENT I am very thankful to my respectable parents for their kind support in my life as well as completing my dissertation and bringing me to this stage in the educational field.
    [Show full text]
  • OSINT Handbook September 2020
    OPEN SOURCE INTELLIGENCE TOOLS AND RESOURCES HANDBOOK 2020 OPEN SOURCE INTELLIGENCE TOOLS AND RESOURCES HANDBOOK 2020 Aleksandra Bielska Noa Rebecca Kurz, Yves Baumgartner, Vytenis Benetis 2 Foreword I am delighted to share with you the 2020 edition of the OSINT Tools and Resources Handbook. Once again, the Handbook has been revised and updated to reflect the evolution of this discipline, and the many strategic, operational and technical challenges OSINT practitioners have to grapple with. Given the speed of change on the web, some might question the wisdom of pulling together such a resource. What’s wrong with the Top 10 tools, or the Top 100? There are only so many resources one can bookmark after all. Such arguments are not without merit. My fear, however, is that they are also shortsighted. I offer four reasons why. To begin, a shortlist betrays the widening spectrum of OSINT practice. Whereas OSINT was once the preserve of analysts working in national security, it now embraces a growing class of professionals in fields as diverse as journalism, cybersecurity, investment research, crisis management and human rights. A limited toolkit can never satisfy all of these constituencies. Second, a good OSINT practitioner is someone who is comfortable working with different tools, sources and collection strategies. The temptation toward narrow specialisation in OSINT is one that has to be resisted. Why? Because no research task is ever as tidy as the customer’s requirements are likely to suggest. Third, is the inevitable realisation that good tool awareness is equivalent to good source awareness. Indeed, the right tool can determine whether you harvest the right information.
    [Show full text]
  • Unhosted Web Apps
    unhosted web apps https://unhosted.org/book/ unhosted web apps freedom from web 2.0's monopoly platforms 1 of 168 10.09.2014 11:05 unhosted web apps https://unhosted.org/book/ Adventures: 1. intro 2. editor 3. server 4. WebSockets 5. social 6. webshell 7. remoteStorage 8. your data 9. email 10. web linking 11. app hosting 12. app discovery 13. users 14. p2p 15. unhosted oauth 16. save the web Decentralize: 17. cryptography 18. dht 19. internet 20. identity 21. browser sessions 22. search 23. neutrality 24. federation 25. anonymity 26. reputation Practice: 27. browser storage 28. sync 29. offline first 30. baas 31. per-user backend 2 of 168 10.09.2014 11:05 unhosted web apps https://unhosted.org/book/ 32. per-user clients 33. client-side frontend 34. conclusions Supporters: and many more… 3 of 168 10.09.2014 11:05 unhosted web apps https://unhosted.org/book/ 1. Personal servers and unhosted web apps (en Français) Hosted software threatens software freedom The Linux operating system and the Firefox browser have an important thing in common: they are free software products. They are, in a sense, owned by humankind as a whole. Both have played an important role in solving the situation that existed in the nineties, where it had become pretty much impossible to create or use software without paying tribute to the Microsoft monopoly which held everything in its grip. The possibility to freely create, improve, share, and use software is called Software Freedom. It is very much comparable to for instance Freedom of Press.
    [Show full text]
  • Job Reconnaissance Using Hacking Skills to Win the Job Hunt Game
    Job Reconnaissance Using Hacking Skills to Win the Job Hunt Game Josh More President and Peon, Eyra Security CISSP, GIAC-GSLC Gold, GCIH, RHCE Expertise ExperienceLetters Me Network Protection CISSP Web Defense GIAC-GSLC Gold Malware Mitigation GIAC-GCIH Patch Manage!ent ACE "reac Pre#ention Consulting Job Reconnaissance Foundations Job Reconnaissance Going Public Job Reconnaissance When to Leave Job Reconnaissance On Résumés Job Reconnaissance On Cover Letters Job Reconnaissance Telling Stories Job Reconnaissance Talking About Yourself Job Reconnaissance Socially Engineering Your Audience Job Reconnaissance Targeting Job Reconnaissance Stop! Ethics Time! Job Reconnaissance Google Job Reconnaissance Other Search Engines Job Reconnaissance Taking Notes Job Reconnaissance Automated Searching Job Reconnaissance Deeper Recon Job Reconnaissance Company Finances Job Reconnaissance Analyzing the Present Job Reconnaissance Digging the Past, Projecting the Future Job Reconnaissance Professional Analysis Job Reconnaissance Metaphor Mapping Job Reconnaissance Repositioning Job Reconnaissance Phone Meeting https://xkcd.com/1329/ Job Reconnaissance Portfolio Job Reconnaissance Visual Design Job Reconnaissance Total Compensation Job Reconnaissance Interview Prep Job Reconnaissance The Actual Interview Job Reconnaissance The End Is Not The End Job Reconnaissance Salary Negotiation Job Reconnaissance Giving Notice Good Idea Bad Idea Date Boss Name, Boss Name That job. The one you want me to do? Boss Title Address Oh, that is bullcrap! Boss Name, And you know what I think?! This is my formal notification that I am I think this whole thing is a SETUP! resigning from _______. Date will be My last day of employment... That's right! And you know what else?! ...renegotiate non-compete in exchange Screw you guys, I'm going home! for greater notice period..
    [Show full text]
  • Semantic P2P Search Engine
    Proceedings of the Federated Conference on ISBN 978-83-60810-22-4 Computer Science and Information Systems pp. 991–995 Semantic P2P Search engine Ilya Rudomilov Prof. Ivan Jelínek Czech Technical University in Prague Czech Technical University in Prague Department of Computer Science and Engineering Department of Computer Science and Engineering Email: [email protected] Email: [email protected] II. P2P BACKGROUND Abstract— This paper discusses the possibility to use Peer-to- Peer-to-Peer networks can be classified by used topology, Peer (P2P) scenario for information-retrieval (IR) systems for from client-server-like centralized P2P to fully-decentralized higher performance and better reliability than classical client- server approach. Our research emphasis has been placed on P2P networks without central coordination and censorship. design intelligent Semantic Peer-to-Peer search engine as multi- For Information-retrieval systems it means indices allocation agent system (MAS). The main idea of the proposed project is indices of nodes content, from one centralized index to use semantic model for P2P overlay network, where peers are (centralized P2P) to distributed indices among all nodes specified as semantic meta-models by the standardized OWL (decentralized P2P). language from The World Wide Web Consortium. Using semantic model improve the quality of communication between A. Centralized P2P intelligent peers in this P2P network. Undoubtedly, proposed semantic P2P network has all advantages of normal P2P Centralized P2P systems apply advantages of the cli- networks and in the first place allow deciding a point with ent-server architecture to P2P networks. There are one or bottle-neck effect (typical problem for client-server more central servers for nodes coordination (Fig.
    [Show full text]