Julio Alonso-Arévalo, José A. Cordón-García y Helena Martín-Rodero CiteULike y : herramientas 2.0 para el descubrimiento de la información científica

Por Julio Alonso-Arévalo, José A. Cordón-García y Helena Martín-Rodero

Resumen: Los gestores de re- ferencias sociales automatizan una tarea repetitiva y tediosa como es la gestión bibliográfi- ca, y ofrecen una alternativa a los motores de búsqueda y ba- ses de datos tradicionales en favor de la mediación social y el descubrimiento científico. Se hace una reflexión sobre las im- plicaciones del etiquetado so- cial en los procesos de gestión de información bibliográfica personal en el entorno 2.0 y se Julio Alonso-Arévalo es el José A. Cordón-García, Helena Martín-Rodero es analizan dos de las aplicaciones responsable de la biblioteca profesor titular de la Univ. de licenciada en filología romá- más populares, aunque todavía de Traducción y Documenta- Salamanca desde 1987, es nica –especialidad en filo- poco conocidas y utilizadas en ción de la Universidad de Sa- director del Master de edición logía francesa– y licenciada lamanca. Forma parte de dos de esa universidad, y director en filología árabe por la Uni- España: CiteULike y Connotea. proyectos del Grupo RcLIS: de la revista Pliegos de Yuste: versidad de Salamanca. Es Palabras clave: Gestores de re- DoIS y E-LIS. Es el coordina- revista de pensamiento y cul- directora de la biblioteca de dor de la lista de distribución tura europeos. Investigadora la Facultad de Medicina de ferencias sociales, Referencias de biblioteconomía y docu- sobre la industria editorial y la misma universidad desde bibliográficas, Web 2.0 Investi- mentación InfoDoc y es au- las fuentes de información, y 1990. Ha participado en di- gación 2.0, Descubrimiento de tor de diferentes artículos en es autor de varias monogra- versos programas de docto- la información. revistas especializadas sobre fías y numerosos artículos. rado, cursos, y en proyectos acceso abierto y sobre gesto- Preside la Asoc. Española de financiados por el Mº de Edu- Title: CiteULike and Con- res de referencias. Bibliología. cación y Ciencia y la Fecyt. notea: 2.0 tool for discovery of scientific information Abstract: Social reference managers automate repetitive and tedious tasks such as literature management, offering an al- ternative to search engines and traditional databases for social mediation and scientific discovery. In this study we reflect upon the implications of social tagging processes for personal bibliographic management in the 2.0 environment, and we study two of the most famous applications, although still little known and employed in Spain: CiteULike y Connotea. Keywords: Social reference managers, References, Web 2.0 2.0, Information discovery. Alonso-Arévalo, Julio; Cordón-García, José A.; Martín-Rodero, Helena. “CiteULike y Connotea: herramientas 2.0 para el descubrimiento de la información científica”. El profesional de la información, 2010, enero-febrero, v. 19, n. 1, pp. 86-93. DOI: 10.3145/epi.2010.ene.12

EL ETIQUETADO SOCIAL, de comentarios, recursos y etique- servan como propias, pero que son consistente en compartir palabras tas que elaboran los usuarios en la visibles para todos, y que se pre- clave definidas por los usuarios utilización cotidiana de fuentes de sentan como una alternativa muy de un sistema de información, se información de todo tipo. Su de- atractiva para la minería de datos y está planteando como un método nominación, folksonomía o clasi- el descubrimiento científico. popular para la organización de ficación del pueblo, es ilustrativa Los gestores de referencias so- la información en internet. de su naturaleza. Aunque menos ciales funcionan como cualquier Casi todos conocemos servi- conocidas, existen aplicaciones de otro sistema de indización social. cios de la web 2.0 que permiten a gestión de información científica Se trata de una taxonomía genera- los usuarios etiquetar contenidos, basadas en el filtrado colaborativo da por el usuario a medida que va como , , Tagzania, que sirven para compartir referen- creando una base de datos de las y otros. El resultado colectivo de cias científicas –en lugar de enlaces referencias de sus documentos que este proceso es un complejo tejido a favoritos–, referencias que se con- al ser compartidas con otros, le va a

86 El profesional de la información, v. 19, n. 1, enero-febrero 2010 CiteULike y Connotea: herramientas 2.0 para el descubrimiento de la información científica permitir navegar libremente por el reducen, en lugar de aumentar, la dad”. Estos pueden ser de utilidad conjunto de etiquetas y de esta ma- eficiencia de la búsqueda debido a para marcar tendencias en determi- nera conocer y compilar referencias la cantidad de sinónimos, homóni- nados ámbitos científicos en los que de los documentos incorporados mos, polisemia, y por la heteroge- las referencias de los artículos más por otros usuarios; esto favorece los neidad y el ruido que introducen populares se ordenan por el número contactos con otros científicos y la (Zanardi; Capra, 2008). de veces que han sido compartidas formación de grupos de investiga- por el resto de investigadores (Ta- ción sobre temas de interés común. raborelli, 2008). Parece razonable que si se está trabajando sobre un “En un área especializada tema del que existe un documento las etiquetas tienen más compartido por centenares de inves- “El etiquetado social se valor intrínseco que en tigadores especialistas en ese tema, está planteando como un contexto general, ese documento será de obligado co- un método popular para donde el término aislado nocimiento; de cualquier modo, si la organización de la podría tener diferentes no se considera una medida de cali- información en internet interpretaciones” dad, sí lo es de popularidad. A pesar de que CiteULike tiene ahora más de 3 millones de referen- cias e incorpora al día unas 5.000 En los sistemas tradicionales es El etiquetado social es el ejem- nuevas, en España apenas ha tenido el indizador, un individuo experto plo más popular de cómo el soft- eco en la literatura profesional. Sólo en las normas y formas de organiza- ware social ha ayudado a superar se pueden mencionar uno o dos tra- ción de información, el que asigna los límites de los enfoques tradi- bajos, destacando la ponencia pre- descriptores para facilitar el acceso cionales de la categorización de sentada en las Jornadas Españolas a la información. En algunas oca- contenidos. Este conjunto de datos de Documentación de 2007 por siones la indización la realizan los a gran escala formado por las men- Jesús Tramullas y Mónica Gimé- propios autores de los artículos a cionadas estructuras conceptuales nez-López (2007) en la que se hace quienes la revista en la que publi- llamadas folksonomías ha llevado una evaluación del software libre can exige la asignación de palabras a algunos autores a formular lo que para la gestión de referencias. clave a sus trabajos. En contrapo- han denominado FolkRank (Hotho sición a esto, en los sistemas de et al., 2006), es decir, un algoritmo etiquetado social son los propios similar al PageRank de Google pero usuarios quienes asignan estas eti- basado en la popularidad que gene- “Las folksonomías quetas. Se han realizado algunos ra la estructura de la folksonomía incluyen términos que estudios comparativos que arrojan en relación a la recuperación, uso nunca aparecerían en una diferencias importantes entre los y descubrimiento de comunidades indización profesional, sistemas de indexación de usuario y científicas dentro del etiquetado. Se pues corresponden al los sistemas de indización profesio- podría decir que en un área especia- nal, pero estas cuestiones deben ser lizada las etiquetas tienen más valor vocabulario real de los consideradas en función de la uti- intrínseco que en un contexto gene- usuarios” lidad de los sistemas de etiquetado ral, donde el término aislado podría para el descubrimiento de recursos, tener diferentes interpretaciones ya que el mundo de las folksono- porque tiene un valor añadido, que mías incluye términos que nunca es la especificidad de ese término en La función básica de estas he- aparecerían en una indización rea- ese campo junto a otras etiquetas de rramientas es simple: cuando un lizada por expertos o en un tesauro, su propio entorno científico. Estos investigador localiza una referencia pues corresponden a un vocabula- datos aislados tienen un interés re- a un documento que le interesa en rio real que utilizan los usuarios de lativo, importante para cada investi- la Web, pueden hacer clic en un bo- un ámbito concreto o determinado gador, sin embargo a escala colecti- tón que se instala en el navegador del conocimiento (Kipp, 2009). va suponen una solución interesante y agregarlo a su colección personal. Estos sistemas también han sido para la evaluación de los contenidos Posteriormente sólo deberá añadir cuestionados por el hecho de que científicos a gran escala. Si un ran- unas etiquetas que caractericen el las etiquetas, al ser definidas por la go de etiquetas lo agrupamos por contenido del mismo. Las etiquetas gente de manera informal, cambian categorías científicas tendremos que se incluyen son términos del continuamente y, en muchos casos los llamados “índices de populari- lenguaje natural significativas para

El profesional de la información, v. 19, n. 1, enero-febrero 2010 87 Julio Alonso-Arévalo, José A. Cordón-García y Helena Martín-Rodero

él y al mismo tiempo para otros investigadores que trabajan en esa área de conocimiento (Alonso-Aré- valo, 2009). Seguidamente vamos a describir CiteULike y Connotea, pero existen otras aplicaciones que comparten Figura 1. MyCiteULike biblioteca personal características similares como son o , e incluso las áreas compartidas de otros gestores señadas fundamentalmente para sa- – Watchlists: listas de seguimien- clásicos como RefWorks o EndNo- tisfacer las necesidades de los cien- to de otros autores y etiquetas suscritas te Web, aunque no son propiamen- tíficos y académicos (Emamy; Ca- por nosotros. te gestores de referencias sociales meron, 2007). Una característica – CitGesits: artículos más po- como lo son CiteULike y Connotea. común es la existencia de un perfil pulares de la última semana. En esta categoría también podría público y uno privado; en el públi- entrar Bibsonomy. co aparecen las referencias de otros – Neighbours: vecinos, usua- investigadores por las que podemos rios que utilizan etiquetas similares http://www.bibsonomy.org/ navegar, hacer listas de seguimiento a las nuestras e incorporarlas a nuestra biblioteca CiteULike y Connotea personal. CiteULike distingue entre CiteULike es un servicio gra- CiteULike (perfil público) y MyCi- “El etiquetado social tuito en línea para organizar publi- teULike (perfil privado). EnConno - caciones científicas. Nació en 2004 tea este perfil privado se denomina sobrepasa los límites de en la University of Manchester y en My library y el público Communi- los enfoques tradicionales la actualidad está patrocinado por ty. de la categorización de SpringerVerlag. No es una aplica- contenidos” ción de código abierto aunque su Perfil personal uso es libre previo registro. Con- En CiteULike el perfil perso- notea nace también en 2004 de los nal está organizado en una serie proyectos llevados a cabo por el Recommendations de ventanas redimensionables con Nature Publishing Group. A dife- la información del usuario: foto- Se trata de un módulo introdu- rencia de CiteULike se trata de una grafía, nombre, correo… También cido recientemente. Consiste en un herramienta open source, es decir, da cuenta de su actividad reciente: algoritmo que genera una ventana el código fuente permanece libre- cuáles han sido los últimos artícu- con registros que han utilizado las mente expuesto para que cualquier los que ha incorporado y cuándo, etiquetas que nosotros también uti- persona que tenga conocimientos posts incluidos en el blog, activi- lizamos frecuentemente. Por ejem- pueda mejorarla o mantenerla, lo dad en Twitter; y lo más importan- plo, si trabajamos en el tema física que en cierta manera asegura su te, un módulo de recomendacio- cuántica, nos aparecerán los nuevos continuidad. nes de nuevas referencias que han registros que otros autores que tra- http://www.citeulike.org/ incorporado otros usuarios y que bajan en este tema han incorporado http://www.connotea.org/ son semánticamente cercanas a las a sus bibliotecas personales; noso- etiquetas que nosotros tenemos en tros podemos incorporarlos a nues- nuestra base de datos, es decir, hace tra biblioteca simplemente pulsan- un cálculo de aquellos artículos que do en la opción Copy, etiquetándo- los posteriormente. “Hay diferencias nos pueden interesar y que pode- importantes entre los mos incorporar fácilmente a nues- Watchlists tro gestor mediante cuatro opciones sistemas de indización Son listas de seguimiento de eti- que sirven como sistemas de alerta de usuario y los quetas o de investigadores con inte- para descubrir nuevos documentos profesionales” reses cercanos a los nuestros; de esta de interés y mantenernos continua- manera podemos seguir las nuevas mente al día de una manera muy incorporaciones de colegas y mante- sencilla: nernos constantemente al día sobre Ambas son aplicaciones web – Recommendations: etiquetas lo que va publicándose en nuestro basadas en marcadores sociales di- próximas a las nuestras. campo de interés. Para suscribirnos

88 El profesional de la información, v. 19, n. 1, enero-febrero 2010 CiteULike y Connotea: herramientas 2.0 para el descubrimiento de la información científica

Figura 2. Perfil personal a una watchlist pulsamos el botón usuarios que utilizan etiquetas si- como DOI, ISBN, PMID, o impor- naranja (que pasará a unwatchlist, milares, y a cuyas bibliotecas po- tándolos en formato RIS. no seguir). El hecho de compartir demos entrar para incorporar sus En Connotea el perfil personal, bibliotecas con otros investigadores registros a la nuestra. como dijimos anteriormente, se de- que trabajan en actividades cercanas nomina My Library. Se puede crear favorece la cooperación y creación una página personalizada, aunque de redes profesionales entre científi- “FolkRank es un algoritmo hacerlo es un tanto complejo pues cos, así como el descubrimiento de se realiza mediante un lenguaje de campos interdisciplinares. similar al PageRank de Google” marcas. La biblioteca personal dis- CitGeist pone en la parte central de las refe- rencias bibliográficas que podemos Es el ranking de los artículos editar para corregir, añadir datos o que más veces han sido comparti- Desde el perfil personal tam- borrar, en caso de que ese registro dos por los usuarios durante la úl- bién podemos acceder a las nubes ya nos haya dejado de interesar; así tima semana, aunque también po- de nuestras etiquetas de autores y mismo mostrará si esa etiqueta es demos especificar si queremos ver materias, y hacer un control de las compartida por otros usuarios o si los artículos que más veces se han mismas renombrando o borrando alguien ha añadido algún comen- compartido en el último día, en los aquellas que no sean significativas. tario respecto a ella. En el lado iz- últimos 14 días, 28 días, o en total. Cuando introducimos una etiqueta quierdo muestra nuestros grupos y Los podemos igualmente incorpo- formada por dos términos es con- las etiquetas que hemos asignado. rar a nuestro gestor personal. veniente hacerlo con un guión, o La parte derecha está dedicada a un guión bajo. También se pueden la interacción entre un perfil y otro Neighbours añadir registros manualmente, in- por medio de una barra de herra- Literalmente se traduce como troduciendo el url, un número de mientas que nos permite añadir un vecinos. Se trata de una lista de identificación de un documento, marcador, crear grupos, renombrar

El profesional de la información, v. 19, n. 1, enero-febrero 2010 89 Julio Alonso-Arévalo, José A. Cordón-García y Helena Martín-Rodero

Figura 3. Añadir a una lista de seguimiento o WatchList etiquetas, instalar el botón Add to un mayor número de veces por los de referencias sociales es mediante Connotea, importar y exportar re- usuarios. Para ello debemos elegir el botón que se instala en la barra ferencias además de proporcionar la opción Popular links; si quere- de favoritos del propio navegador: acceso a las herramientas de confi- mos conocer cuáles son las últimas Post to CiteULike o Add to Conno- guración y personalización del sis- referencias que han subido otros in- tea, de forma que cuando estamos tema. vestigadores deberemos seleccionar navegando por un sitio web y quere- la opción Recent activity. mos compilar la información de un En Connotea destacan dos he- documento simplemente pulsamos rramientas similares a las que veía- sobre ese botón y automáticamen- mos en CiteULike. Una es Related te se abre una ventana emergente tags que nos sugiere etiquetas próxi- “FolkRank se basa que nos pide que introduzcamos mas a las que hemos introducido en la popularidad que las etiquetas que van a caracteri- nosotros gracias a un algoritmo que genera la estructura de zar el contenido de ese documento. mide la frecuencia de aparición; de Una vez que hemos realizado este esta manera podemos navegar por la folksonomía de cara proceso cerramos la ventana y se- ellas e incorporar las referencias de a la recuperación, uso guimos con la tarea que estábamos otros usuarios. La otra herramienta y descubrimiento de realizando. es Related users, usuarios que tie- comunidades científicas nen etiquetas compartidas con no- dentro del etiquetado” sotros, y a los que nos puede intere- Importar datos sar seguir -vendrían a ser como los Con CiteULike podemos im- vecinos en CiteULike-. Connotea portar datos de otras aplicaciones Añadir información igualmente permite descubrir nue- de gestión de referencias en forma- va información y conocer aquellos La manera más clásica de aña- to RIS y BibTeX. Cuando lo hace- enlaces que han sido compartidos dir información a cualquier gestor mos nos solicita el nivel de priori-

90 El profesional de la información, v. 19, n. 1, enero-febrero 2010 CiteULike y Connotea: herramientas 2.0 para el descubrimiento de la información científica

– Añadir DOI u otra url alternativa. – Añadir un pdf personal. – Marcar como publicación propia. – E s t a b l e c e r prioridad de lectura, o nivel de privacidad. – Introducir una revisión del artículo. – Incluir notas al artículo. – Buscar artícu- los relacionados en CiteULike. – Navegar por las etiquetas para buscar nuevos artículos. Figura 4. Botón Add to Connotea en la barra del navegador – Historia del post y formatos de exportación. dad de esos artículos, es decir, si de interés común. Para añadir una para nosotros van a ser importantes referencia entramos en el artículo y o no; permite introducir etiquetas pulsamos sobre Copy para copiar- “CiteGeists es el ranking y establecer cómo van separadas lo en nuestro perfil privado. Estas de los artículos que unas de otras (espacios, comas…); herramientas permiten incluir un igualmente ofrece la posibilidad de artículo externo si conocemos al- más veces han sido dejarlas en uso público o privado y gún número de identificación nor- compartidos por los eliminar duplicados. Cada vez son malizado como ISBN, url o DOI usuarios durante la última más los sitios compatibles con Ci- (desde el perfil personal eligiendo semana” teULike: ScienceDirect, PubMed, la opción Post url en CiteULike o arXiv, etc. Add bookmark en Connotea).

Referencias Las referencias en Connotea no son tan completas como en Ci- En cada una de las referencias, “Las Watchlists son teUlike, aunque muchas de las tareas CiteULike ofrece diversas opciones listas de seguimiento que realizamos desde las referencias para optimizar la información, su de CiteUlike es posible incluirlas en de etiquetas o de uso y el descubrimiento de nueva Connotea, bien editando el registro investigadores a las que información: nos podemos suscribir” (añadir pdf, comentarios…), o bien – Exportar hasta en cinco for- por medio de la barra de herramien- matos (RIS, BibTeX, pdf, rtf, For- tas lateral (ToolBox). matted Text, Delicious). Los grupos Otra forma de añadir informa- – Elegir el estilo de cita en el ción desde CiteULike o Connotea que queremos visualizarlo (APA, CiteULike permite crear grupos es desde la opción Search. Nos bus- MLA, JAMA, IEEE…). de investigación en torno a un tema cará en las carpetas de otros inves- o un departamento con la finalidad – Operar con el registro: borrar, tigadores que hayan reseñado ese de compartir referencias entre sus editar, copiar, enviar al blog. artículo, o artículos sobre un tema; miembros, y se puede hacer un blog de este modo podemos conocer qué – Difundir a nuestros grupos o del grupo. Los grupos son auténti- investigadores trabajan en un área mediante Twitter. cas redes sociales que hacen posi-

El profesional de la información, v. 19, n. 1, enero-febrero 2010 91 Julio Alonso-Arévalo, José A. Cordón-García y Helena Martín-Rodero

Figura 5. Fuentes compatibles con CiteULike y Connotea ble que compartamos información http://eprints.rclis.org/17229/1/CiteULike_- http://eprints.rclis.org/17321/1/Mendeley_- con el resto de los colegas de nues- _SEDIC.pdf _SEDIC.pdf tro departamento, o bien con aque- Alonso-Arévalo, Julio. “Connotea, software li- Alonso-Arévalo, Julio. “Zotero: la máquina de bre para la gestión de referencias sociales”. Co- vapor del software libre para la gestión de ref- llos otros con los que compartimos munidades de prácticas 2.0 de la Sedic, 2009. erencias bibliográficas”.Comunidades de prácti- un interés determinado. http://eprints.rclis.org/17232/1/Connotea_- cas 2.0 de la Sedic, 2009. _SEDIC.pdf http://eprints.rclis.org/17220/1/Zotero_-_ SEDIC.pdf En conclusión se trata de aplica- Alonso-Arévalo, Julio. “Los gestores de refe- ciones de fácil uso y comprensión, rencias sociales: índices de popularidad y descu- Benvenuti, Nicola. “Social tagging e biblioteche: que facilitan a los investigadores la brimiento científico”. Comunidades de prácticas implicazioni e suggestioni di una ‘classificazione 2.0 de la Sedic, 2009. generata dagli utenti che emerge attraverso un realización de un trabajo tedioso y http://eprints.rclis.org/17211/1/Gestores_de_ consenso dal basso’”. Biblioteche oggi, 2007. repetitivo como es el de la compi- Referencias_Sociales_-_SEDIC.pdf http://eprints.rclis.org/12879/1/social_tagging. pdf lación, almacenamiento, organiza- Alonso-Arévalo, Julio. “Mendeley, el Last.fm de ción y utilización de las referencias la investigación”. Comunidades de prácticas 2.0 Capocci, Andrea; Caldarelli, Guido. “Folkso- de la Sedic, 2009. nomies and clustering in the collaborative system bibliográficas; ofrecen una alterna- CiteULike”. Journal of physics A: mathematical tiva a los motores de búsqueda y and theorical, 2008, v. 41, n. 22, p. 224016. bases de datos tradicionales en be- http://dx.doi.org/10.1088/1751-8113/41/22/ 224016 neficio de la mediación social y el descubrimiento científico por - me “Neighbours es una lista Cordón-García, José A.; Martín-Rodero, Helena; Alonso-Arévalo, Julio. “Gestores de dio de un sistema sencillo basado de usuarios que utilizan referencias de última generación: análisis com- en el etiquetado. etiquetas similares y a parativo de RefWorks, EndNote Web y Zotero”. El profesional de la información, 2009, v. 18, n. cuyas bibliotecas podemos 4, pp. 445-454. Bibliografía entrar para incorporar sus http://eprints.rclis.org/17395/1/GestoresEPI.pdf Alonso-Arévalo, Julio. “CiteULike o el descu- registros a la nuestra” Emamy, Kevin; Cameron, Richard. “Ci- brimiento de la información científica”.Comuni - teULike: a researcher’s ser- dades de prácticas 2.0 de la Sedic, 2009. vice”. Ariadne, 2007, n. 51.

92 El profesional de la información, v. 19, n. 1, enero-febrero 2010 CiteULike y Connotea: herramientas 2.0 para el descubrimiento de la información científica

Figura 6. Registro de CiteULike

http://www.ariadne.ac.uk/issue51/emamy-came- Kipp, Margaret E. I. “@toread and cool: - tación, Santiago de Compostela (Spain), 2007, ron/ ging for time, task and emotion”. Information v. 9. architecture summit, 2007. http://eprints.rclis.org/13953/ Gemmell, Jonathan; Schimoler, Thomas; Ra- http://eprints.rclis.org/10445/1/mkipp-iasummit mezani, Maryam; Christiansen, Laura; Mo- 2007.pdf Zanardi, Valentina; Capra, Licia. “Social rank- basher, Bamshad. “Improving FolkRank with ing: uncovering relevant content using tag-based item-based collaborative filtering”. RecSys’09, Lund, Ben; Hammond, Tony; Flack, Martin; recommender systems. En: RecSys’08: Proceed- 2008. Hannay, Timo. “Social bookmarking tools (2): ings of the 2008 ACM conference on recommend- http://ls13-www.cs.uni-dortmund.de/homepage/ a case study: Connotea”. D-Lib magazine, 2005, er systems”, ACM, 2008, pp. 58-51. RSWEB//Gemell.pdf v. 11, n. 4. http://www.cs.ucl.ac.uk/staff/V.Zanardi/social http://www.dlib.org/dlib/april05/lund/04lund. Rank.pdf Hotho, Andreas; Jäschke, Robert; Schmitz, html Christoph; Stumme, Gerd. “Folkrank: a ran- king algorithm for ”. Knowledge & Pavan, Cleusa. “Connotea: site para a comuni- Data Engineering Group, 2006. cação científica e compartilhamento de informa- http://www.kde.cs.uni-kassel.de/stumme/papers/ ções na internet”. Revista digital de biblioteco- Julio Alonso-Arévalo, José A. Cor- 2006/hotho2006folkrank.pdf nomia e ciência da informação, 2007, v. 5, n. 1, dón-García pp. 77-94. Kipp, Margaret E. I. “Searching with tags: do http://dialnet.unirioja.es/servlet/articulo? Facultad de Traducción y Docu- tags help users find things?” Annual general codigo=2390648 mentación. Universidad de Sala- meeting of the American Society for Information Science and Technology, 2009. Taraborelli, Dario. “Soft peer review? Social manca http://eprints.rclis.org/17348/1/asistposter2009. software and distributed scientific evaluation”. [email protected] pdf Proceedings of the 8th Intl conf on the design of [email protected] cooperative systems (COOP 08), 2008. Kipp, Margaret E. I. “Complementary or dis- http://www.academicproductivity.com/2007/soft- crete contexts in online indexing: a comparison peer-review-social-software-and-distributed- of user, creator, and intermediary keywords [pa- scientific-evaluation/ Helena Martín-Rodero per]”. Proceedings Canadian Association for In- Facultad de Medicina. Universidad formation Science, 2006. Tramullas, Jesús; Giménez-López, Mónica. http://eprints.rclis.org/8379/1/mkipp-caispaper. “Evaluación de software libre para la gestión de de Salamanca pdf bibliografía”. Jornadas españolas de documen- [email protected]

El profesional de la información, v. 19, n. 1, enero-febrero 2010 93