europeana-que-nos-falta

Nota de estado · E-1139 / TX-1139 · 19/10/2026 12:27 · Karb and Sil.

Qué: Europeana (https://www.europeana.eu), el agregador de cientos de bibliotecas europeas, recorrido por su API para saber qué diccionarios, gramáticas, ortografías y demás obras de lengua de dominio público tiene, con qué derechos da cada copia, cuáles no teníamos, y bajar de la biblioteca de origen a la caja y a la cola del taller lo de prioridad 1 a 4 que faltaba, más los testigos de lo que ya teníamos. Eduardo, 18/10/2026: «¿has buscado Europeana?». Es el mismo trabajo que E-1129 hizo con la BVPB (bvpb-que-nos-falta) y E-950 con la BVFE, con sus reglas.

Dónde está todo:

• La lista: dev/agentes-common/encargos/E-1139-elegir.csv (una fila por objeto de Europeana que es de lengua, 8.006, con su biblioteca, derechos, «¿se baja?» rellena por la regla y, para lo elegido, el slug, la ficha de la cola y qué pasó al bajarlo).
• Lo que no se pudo bajar, para Eduardo: dev/agentes-common/encargos/E-1139-para-eduardo.csv (180 filas, con el enlace, el porqué y la carpeta de la caja donde dejarlo).
• El programa (por reglas, con tests): herramientas/europeana-que-nos-falta/ (README con los pasos y las reglas; diagrama docs/estado/diagramas/europeana-que-nos-falta.archify.json, validado en «showcase»).
• Los datos sacados, para rehacerlo sin volver a pedir nada: herramientas/europeana-que-nos-falta/datos/ (busquedas/, las 40 búsquedas tal cual, 26.988 objetos; fichas/, las 1.036 fichas enteras de los candidatos; lo_nuestro.json, lo nuestro juntado el 19/10/2026 10:17; e1129.json, lo que vio y bajó E-1129). Todo limpio de la clave (un test lo comprueba).
• Lo bajado: hetzbox:archivo/lengua/libros/<slug>/ (PDF y ficha.md) y hetzbox:ocr/cola/<NNN>-<slug>.json; el rastro, dev/agentes-common/encargos/E-1139-bajada.jsonl.
• Para regenerar: python3 elegir.py datos salida <csv> && python3 lista.py salida/obras.json <existentes.txt> salida/lista.json && python3 resumen.py salida/obras.json salida/lista.json <bajada.jsonl> <para-eduardo.csv> <csv>.

Los números

Por biblioteca (objetos de lengua · de dominio público · lo que pasa):

Bajados por biblioteca: Castilla y León 79 (24.152 págs.); Valenciana 10 (1.589, bajados desde el Mac: la de Valencia no contesta a la nave); Santiago (Minerva) 9; Cádiz (RODIN) 9 (6.352); Madrid 8 (6.023); Jaguelónica de Cracovia 4 (2.848); Memoria Digital de Cataluña 3; Capuchinos 3; Jaume I 2; Valladolid 2; Castilla-La Mancha, Aragón, la de Farmacia y la Giner, 1 cada una.

Las reglas (lo nuevo frente a E-1129)

• Por la API, no por la web: search.json con cursor y record para cada ficha; con la clave propia de Eduardo, que se lee de fichero y va en la cabecera. La API la devuelve dentro de cada respuesta: se quita antes de guardar.
• El proxy de la biblioteca, no el de Europeana: el de Europeana trae títulos y materias traducidos a máquina («Orthography rules in the Castilian language»). Las URI de autores y materias se resuelven a su nombre (los autores, con sus fechas, para el dominio público); «[Texto impreso]» fuera del título; «[Manuscrito]» y la materia «Manuscritos» marcan un manuscrito.
• Derechos por la declaración rights de cada objeto: se bajan PDM, CC0, CC BY, CC BY-SA y NoC-OKLR/NoC-US; NoC-NC no (solo uso no comercial), ni CC BY-NC, ni InC, ni CNE. Es lo que deja fuera a Baviera y Austria, la mayor reserva de lo que queda (ver la lista para Eduardo).
• Lengua de Europeana: una obra que Europeana da en otra lengua, sin el español, con un título sin marca, es de otra lengua (las gramáticas rumanas de Cluj); una palabra de tipo lejos en el título con materias que no son de lengua no hace una obra de lengua (Linneo, Parte práctica de botánica… con un diccionario).
• Para no repetir E-1129: lo de la BVPB que ya vio E-1129, fuera (130); y lo que casa con algo que bajó E-1129 y es del mismo año, también (31): las bibliotecas regionales dan sus escaneos a la BVPB, y sería la misma copia por otro camino.
• Testigos dentro de la cosecha: otra copia de la misma obra (apellido, título y año) que ya se baja es su testigo; se baja igual.
• Cola: los testigos de obras publicadas, del 170 al 179 (salieron 4: Monlau 1856, Covarrubias 1611, el diccionario oficial de 1822 y el de 1843); lo demás, del 900 al 1223.

Lo bajado (19/10/2026 10:45-12:13, en nave; los de Valencia, desde el Mac)

• 134 PDF, 45.602 páginas, 11,8 GB, cada uno en hetzbox:archivo/lengua/libros/<slug>/ con su ficha.md (biblioteca, enlace de Europeana, declaración de derechos, dominio público, quién y cuándo) y su ficha de cola. Por prioridad: 1 · 3; 2 · 41; 3 · 48; 4 · 42.
• Delante (170-173): Monlau, Diccionario etimológico (1856, 585 págs., Castilla y León; en pausa por resolución, 710 px), Covarrubias, Tesoro (1611, 500 págs., Castilla y León), el diccionario oficial de 1822 (884 págs., Cádiz) y el de 1843 (774 págs., Cádiz).
• Resolución: la mitad de lo bajado viene por debajo de 800 px (DIGIBIS sirve PDF ligeros): 66 en pausa, 16.539 páginas; los otros 68, 29.063 páginas, en cola.
• Lo que retiré después: el visor de Girona dio solo la primera página de un López de la Huerta (ficha 911, en pausa con nota; la obra está en el 912) y tres manuscritos entraron porque la regla de «¿se baja?» no miraba aún el manuscrito (960 Noel, 996 la escritura de venta de 1666, 1148 Lamarca): sus fichas de cola están en pausa con nota y el PDF queda en la caja.

Lo que no está bien todavía (y por qué)

• Gallica, La Rioja, el Prado y el Banco de España responden con una verificación anti-robots (Cloudflare o el cortafuegos), también al agente de navegador: para Eduardo (89). Gallica, además, da sus copias con NoC-OKLR: la BnF cobra por el uso comercial.
• Sancho el Sabio: Europeana apunta a su web vieja (/applet/libros/…pdf), que ahora redirige a un DSpace nuevo cuyo robots.txt cierra la API por donde se encuentra el fichero: para Eduardo (24).
• Bibliotecas que solo dan imágenes (Ciconia, Asturias, Castilla-La Mancha, Galiciana, IURIS, Larramendi, CONTENTdm de la UB y de la MDC con obras compuestas): no hay un PDF de la obra entera que bajar; para Eduardo, o para un paso que baje página a página si merece la pena.
• Las reglas se equivocan en los bordes, como en E-1129: entran diccionarios de oficios que hablan de «voces» (arquitectura, toros, economía), libros de lectura y algún título con «métrica» que no es de métrica. Está todo en el CSV, con sus materias.
• **El grupo para el consenso** no se rellena (tomos y testigos de una obra): es de Silicio al integrar.

Respeto a las bibliotecas (rastro)

• Europeana: por la API, el canal oficial (el robots.txt de la web cierra la búsqueda), con un agente propio («WordkersBiblioteca/1.0 (+https://biblioteca.wordkers.com)»), una petición cada vez: búsquedas 10:15-10:24 (1 s de pausa), fichas 10:26-10:41 (0,5 s).
• **robots.txt de las bibliotecas** (mirados el 19/10/2026 10:27): las de DIGIBIS (Castilla y León, Galiciana, Aragón, Larramendi) y los DSpace (Sancho el Sabio, Jaume I, Cádiz, Santiago) cierran el sitio a ClaudeBot, Claude-Web, GPTBot, anthropic-ai… y lo dejan abierto a User-agent: *; Valencia, igual, salvo resultados_ocr.do; Valladolid y Oviedo no nombran robots de IA (Oviedo pide 3 s entre peticiones, Santiago 6); La Rioja, el Prado y el Banco de España no dan robots.txt (Cloudflare o cortafuegos); Gallica tampoco: Cloudflare. Vale la decisión de Eduardo del 18/10/2026 sobre la BVPB: «comprendo tus reservas pero no las comparto, especialmente con este tipo de material, este tipo de instituciones y nuestro objetivo».
• Cómo se bajó: identificado («WordkersBiblioteca/1.0 (E-1139; …)»); ninguna biblioteca obligó a cambiarlo por el de navegador (ua en el log: todo «propio»). A cada biblioteca, una petición cada vez y 5 s entre libro y libro; a la vez, como mucho cuatro bibliotecas distintas.
• Condiciones: de lo bajado, 79 son CC0 (Castilla y León), 50 PDM (Valencia, Cádiz, Santiago, Madrid, Cracovia…), 4 CC BY (Capuchinos y Castilla-La Mancha: la cita va en su ficha.md) y 1 NoC-OKLR (Monner Sans, Perrología, 1923, de Internet Archive).