Unzensierbarkeit, Selbstbestimmung, Erweiterte Möglichkeiten

Freie Suchmaschinen für freie Daten: Unzensierbarkeit, SearchEngine Selbstbestimmung, erweiterte Möglichkeiten

Michael Christen, [email protected] Summit Of New Thinking, 16.11.2012 Station Berlin, Berlin Abstract

SearchEngine

Suchmaschinen sind durch ihre Ergebnisauswahl meinungsbildend, sie führen uns durch das Ergebnisranking selektiv zu Informationen und beeinflussen letztendlich Normen und Werte von Gemeinschaften. Die Nutzer sind es gewohnt, dass Suchportale für sie bereitgestellt werden, aber welche Vorteile kann es haben, wenn die Nutzer selbst die Suchmaschine für sich und andere bereitstellen?

Zwischen Open Data und dem Nutzer sollte eine eine freie Suche existieren und der Vortrag zeigt, u.a. in live-Demos, wie dies jede(r) leicht selbst machen kann. So manche mögliche Anwendungen von Suchmaschinentechnik wird von den Suchportalen nicht angeboten und das hat ggf. wirtschaftliche und politische Gründe: eigene Relevanz-Regeln, Suchergebnisse mit themenorientierter Ergebnisnavigation, Datei-Suche im Internet und im Intranet mit integriertem Massen-Downloader, virtuelles Browsen auf Webservern wie auf Fileservern und der persönliche Nachrichtendienst ist einfach zu realisieren.

Der Vortrag macht die Zuhörer mit der freien Software Solr und YaCy sowie mit Suchmaschinentechnik im allgemeinen vertraut. YaCy ermöglicht außerdem die Peer-to-Peer Vernetzung der Suchmaschinennutzer und erzeugt damit ein dezentrales, unzensierbares Suchmaschinennetz. Es werden Wissensmanagement-Methoden mit Hilfe von Suchmaschinen und alternative Visualisierungen von Suchergebnissen gezeigt. Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net Bürgerrechte für eine nachhaltige Wissensgesellschaft: UNO Weltgipfel zur Informationsgesellschaft 2003 Beitrag der Heinrich-Böll-Stiftung

(a) Wissen ist Erbe und Besitz der Menschheit und damit frei. (b) Der Zugriff auf Wissen muss frei sein. (c) Alle Menschen haben das Recht auf Kommunikation und Informationsfreiheit. (d) Das Recht auf Achtung der Privatheit ist ein Menschenrecht und ist unabdingbar für die freie und selbstbestimmte Entfaltung von Menschen in der Wissensgesellschaft. aus: http://www.worldsummit2003.de/de/web/52.htm

... können Verhaltensprofile der Benutzer anlegen ... Zensur, Verschleierung, Verschmutzung möglich ... besitzen (genau wie ,Clouds‘) Personendaten

freie Daten können nur dann wirklich frei sein wenn sie mit freier Software gefunden werden können

freie Daten Suche Nutzer

u.a.: Suchmaschinenmonopol: Der Nutzer ist auf die Existenz und korrekte freie Software proprietäre und Funktion proprietärer, zentralisierte Technik, zentralisierter und Daten unter Creative Aufzeichnung aller kontrollierter Suchportale Commons Lizenz Datenspuren, Zensur, angewiesen, um freie Open Access Archive Filterung, Löschung, Inhalte finden zu können Verschmutzung durch Werbung

freie Daten können nur dann wirklich frei sein wenn sie mit freier Software gefunden werden können

freie Daten Suche Nutzer

Ordnung Ranking Relevanz Gemeinschaft In einer geschlossenen Gemeinschaft existieren bestimmte Relevanz- kriterien. Ranking beeinflusst Normen und Werte einer Gemeinschaft!

Suchmaschinen haben einen kulturellen Einfluss auf Gemeinschaften! Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net Die eigene Suchmaschine Unabhängigkeit ...von zentralen Suchportalen: den eigenen Suchindex erstellen und die Suchfunktionen den eigenen Anforderungen anpassen. Privatsphäre ...Du bist der Suchmaschinenbetreiber: niemand sonst beobachtet die Nutzung! Informationsfreiheit keine Zugriffsgrenzen, keine Zensur, keine Filter, keine Beobachtung durch andere Betreiber, keine ,Verschmutzung‘ (Werbung) und die eigene Relevanz Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net Wissen wie Suchmaschinen funktionieren search server web interface I

crawler search index api

robots balancer queues schema facets opensearch gsa solr network interfaces ranking moderation monitoring file http ftp smb oai-pmh I/O requests Disk/RAM document cache doc parser pdf administration/ xls html rss zip eml steering

Peer-to-Peer- Suche für Intranet- und Suche Web-Portal Filesuche den Suchindex geteiltes Wissen Konsolidierung mit anderen für verteilte der Datenablage teilen Systeme (ftp/smb-Suche)

Zuflucht für Nachrichten- SEO & Web- gefährdete dienste Admin Tools Daten automatisches fremde Server z.B. torrents Suchen ohne durchstöbern Suchananfrage und Strukturen analysieren

Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net Peer-to-Peer- A Search Engine Cluster consist of Suche independent search engines in the form of a search matrix. den Suchindex mit anderen teilen

Search Engine Cluster

Search Search Search Search Search Engine Engine Engine Engine Engine

vertical scaling: more performance scaling: vertical horizontal scaling: more documents

Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net Peer-to-Peer- We want to take the search Suche matrix out of the data center to your home. den Suchindex mit anderen teilen

Search Search Search Search Search EnginePeer EnginePeer EnginePeer EnginePeer EnginePeer

Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net Peer-to-Peer- The YaCy Search Engine Cluster Suche consist of independent search engines, but they are connected den Suchindex in an efficient way using a mit anderen distributed hash table. teilen

Peer Peer Peer

Peer Peer

Peer Peer Crawl the web, create a DHT Search in a web index, distribute Peer Distributed Hash Table Peer Distributed Hash Table the index

Peer Peer

DHT-Store DHT-Read Peer Peer Peer

Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net Peer-to-Peer- Everyone can join the network. Suche Eveyone can contribute to the search index. Nobody can censor the global index. den Suchindex mit anderen teilen

Peer-to-Peer- Suche für Intranet- und Suche Web-Portal Filesuche den Suchindex geteiltes Wissen Konsolidierung mit anderen für verteilte der Datenablage teilen Systeme (ftp/smb-Suche)

Zuflucht für Nachrichten- SEO & Web- gefährdete dienste Admin Tools Daten automatisches fremde Server z.B. torrents Suchen ohne durchstöbern Suchananfrage und Strukturen analysieren

Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net - Vernetzung von Wissen Suche für - Vernetzung von Menschen Web-Portal SearchEngine geteiltes Wissen für verteilte Systeme

Suchmaschine technologische Ebene (,wie setze ich Technik ein‘) soziotechnische Ebene (,wie gehe ich mit Technik um‘) Create and Share Produktion Dokumente

Projektsteuerung Versionskontrolle (micro)Blogging Vernetzung von Wissen Vernetzung von Menschen Discussion Bugtracker

Viele Datenerfassungsfunktionen - Crawler für http(s), ftp, smb, robots.txt-compliant, Web Cache - Netzwerkscanner für Intranet, viele Parser! - RSS Feed Importer, OAI-PMH Importer, Import von Dublin Core

Crawler, Linkstrukturanalyse und Host Statistik - Host Browser: Analyse der Ziel-Host Filesystemstruktur - Robots Browser und Massen-Zielanalyse - Netzwerk Graph: Link Strukture Visualisation - Qualitätssicherungswerkzeug für Web-Adminis (dead links etc.)

Eingebaute Suchinterfaces - Solr XML + Result Writer: rss, opensearch, xslt, yjson - GSA Result Writer für die Google Search Appliance Search API - ,traditionelles‘ Suchinterface und Facetten (host, filetype, protocol) - Pop-up Suchinterface - File Suche mit Dateitypen Navigation und Download Hack - Autocompletion API (entsprechend opensearch.org suggestions)

Produktionssteuerung - Scheduler für wiederkehrende Prozesse

Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net YaCy Beispiele: Peer-to-Peer Netzteilnehmer freie dezentrale Suchmaschine für alle

freeworld: http://search.yacy.net Suchmaschine, bestehend aus den Peers freiwilliger 1200 Peers im Monat, weltweit verteilt > 1 Milliarde Dokumente

Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net YaCy Beispiele: Separates Peer-to-Peer Netz Suchmaschine für wissenschaftliche Publikationen

Sciencenet: http://sciencenet.kit.edu Suchmaschine des Karlsruhe Institut für Technologie 35 Peers in eigenem Netz, > 200 Mio. Dokumente

http://yacy.net YaCy Community

http://fsfe.org Free Software Foundation Europe

http://www.uni-mainz.de/ Gutenberg-Universität Mainz

http://www.kit.edu Karlsruhe Intitut für Technologie

metager + metager2

YaCy Peers werden von metager und metager2 genutzt

http://www.metager.de MetaGer - Meta-Suchmaschine der Leibniz Universität Hannover Freie Suchmaschinen für freie Daten: Unzensierbarkeit, Selbstbestimmung, erweiterte Möglichkeiten Michael Christen Summit Of New Thinking, Berlin, 16.11.2012 [email protected], http://yacy.net Zusammenfassung

1. Der Zugang zum Wissen und das Recht auf Privatheit SearchEngine ist ein Menschenrecht. Gemeinschaften brauchen eigene Bewertungsmechanismen in Suchmaschinen. Zentrale Suchportale können diese Bedürfnisse nicht erfüllen. Es besteht ein Bedarf für dezentrale (=persönliche) Suchmaschinen. 2. Wir haben Suchszenarien vorgeführt die von bekannten Suchmaschinen nicht angeboten werden. Insbesondere freie Inhalte brauchen angepasste und angemessene Suchtechniken! 3. Wir haben ein wenig Suchmaschinentechnik erklärt. Es ist wichtig zu wissen wie solche Software funktioniert, sonst kann es nicht von jeder Person eingesetzt werden. 4. Bitte unterstützt die Idee der freien Suche! Mach ein Suchportal, das ist nicht schwer! Wir unterstützen Dich! (-> YaCy Forum)

Dipl. Inf. Michael Christen, SearchEngine [email protected] http://yacy.net

Twitter @yacy_search

Download Development http://yacy.net https://gitorious.org/yacy

Discussion Bugs http://forum.yacy.de http://bugs.yacy.net

News Documentation http://twitter.com/yacy_search http://wiki.yacy.net http://yacy-kochbuch.de

QR-Code: vCard