Page History

...

Der ZDB Index wird mit Hilfe der Newspaper Spark App aus dem ZDB Dump aufgebaut. 

Schema

https://dev.fiz-karlsruhe.de/stash/projects/DDB/repos/sparkddb-newspaperbackend-appsolr/browse/src/main/resources/solr/conf/newspaper/conf/schema.xml?at=refs%2Fheads%2Fmaster

Besonderheiten

...

Zeitungsausgabenindex

...

Dieser Index arbeitet mit Nested Documents um sowohl die Zeitungsausgaben als auch die Einzelseiten der Ausgaben zu speichern. Die Menge der im Schema definierten Felder enthält also die für die Ausgaben so wie auch die für die Einzelseiten.

https://dev.fiz-karlsruhe.de/stash/projects/DDB/repos/sparkddb-newspaperbackend-appsolr/browse/src/main/resources/solr/conf/newspaper-issues/conf/schema.xml?at=refs%2Fheads%2Fmaster

Besonderheiten

Dieser Index benutzt das SOLR-OCR-Plugin des MDZ um die Volltexte und inkl. der Wortpositionen aus den gelieferten ALTO Dateien zu indexieren. 

...

https://xd.adobe.com/view/e385a318-37bf-4ea7-56d8-2774adbf7d11-95b4/

• Startseite DZ: 
  • Search Section: Chart im dunkelgrauen Kasten: 
    (1a) 
    • 0a, Start Date:
    • http://ddb-di-vm05
    .fiz-karlsruhe.de
    • :8183/solr/newspaper-issues/select?fl=publication_date&q=
    type
    • *:
    issue&facet.field=publication_year&facet=on&rows=0 Heute vor hundert Jahren:
    
    • *&rows=1&sort=sort.publication_date+asc
    • 0b, End Date httpRandom Zeitungsausgabe mit Datum festgelegtem Datum: 
      (1b) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?qfl=publication_date:NOW-100YEARS/DAY&sort=random_1234%20desc&fl=id,publication_date,thumbnail,paper_title&rows=1
      wobei 1234 durch einen beliebigen zufälligen Seed zu ersetzen ist (evtl. aktueller Timestamp).sollte oben kein Ergebnis zurückkommen, dann folgende Query benutzen: 
      &q=*:*&rows=1&sort=sort.publication_date+desc
  • Chart im dunkelgrauen Kasten: 
    
    • (1a, Chart Data) http(1c) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?q=publication_date:[NOW-100YEARS/DAY%20TO%20*]&fl=id,publication_date,thumbnail,paper_title&sort=sort.publication_date%20ASC&rows=1für die vorheriger/nächster Tag Buttons:  aus dem Ergebnis oben das Datum extrahieren und folgende Queries verwenden:
      vorheriger: (1d) type:issue&facet.field=publication_year&facet=on&rows=0 
    • (1b, Chart Title nNewspapers, cached 4h) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?q=publication_date:[*%20TO%201921-12-02T12:00:00Z/DAY]&fl=id,publication_date,thumbnail,paper_title&sort=sort.publication_date%20DESChasLoadedIssues:true&rows=10nächster: (1e) 
    • (1c, Chart Title nIssues, cached 4h) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?q=publication_date:[1921-12-02T12:00:00Z%2B1DAY/DAY%20TO%20*]&fl=id,publication_date,thumbnail,paper_title&sort=sort.publication_date%20ASC&rows=1
      
  Suchergebnisseite
  
  • • type:issue&rows=0
    • (1d, Chart Title nPages, cached 4h) http:
    Suchergebnisse: http:
    • //ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/
    newspaper-search
    • select?q=
    Stadt
    • type:page&
    hl=on&fl=id,paper_title,publication_date,thumbnail,[child%20limit=1]&hl.fl=issuefulltext&hl.snippets=1000&hl.maxAnalyzedChars=10000000&hl.simple.pre=<b>&hl.simple.post=</b> 
    - das Vorhandensein von "_childDocuments_" sagt ob die Ausgabe Volltexte hat.
    - An Anzahl der Snippets gibt die Anzahl der Treffer in der Ausgabe. Anzuzeigen ist nur das erste Snippet, sofern vorhanden.
    - Sortierung der Ergebnisse:
    
    • Älteste/Neueste: &sort=sort.publication_date asc/desc
    • A-Z: &sort=paper_title asc/desc
    • Relevanz: ohne sort Parameter
    Suchergebnisse: (2a
    • rows=0
    • (1e, Chart Title nDataProviders, cached 4h) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?q=type:issue&stats.field=provider&stats=true&rows=0&stats.calcdistinct=true
  • Heute vor hundert Jahren:
    
    • Random Zeitungsausgabe mit Datum festgelegtem Datum: 
      (1b) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?q=publication_date:NOW-100YEARS/DAY%20AND%20type:issue&sort=random_1234%20desc&fl=id,publication_date,thumbnail,paper_title&rows=1 
      wobei 1234 durch einen beliebigen zufälligen Seed zu ersetzen ist (evtl. aktueller Timestamp).
    • sollte oben kein Ergebnis zurückkommen, dann folgende Query benutzen: 
      (1c) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/
    newspaper-search
    • select?q=
    Hamburg&group=true&group.field=issue_id&group.ngroups=true&group.limit=10&hl=true&hl.fl=plainpagefulltext&hl.snippets=100
    • publication_date:[NOW-100YEARS/DAY%20TO%20*]%20AND%20type:issue&fl=id,publication_date,thumbnail,paper_title&sort=sort.publication_date%20ASC&rows=1 
    • für die vorheriger/nächster Tag Buttons:  aus dem Ergebnis oben das Datum extrahieren und folgende Queries verwenden:
      vorheriger: (1d) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?q=publication_date:[*%20TO%201921-12-02T12:00:00Z/DAY]%20AND%20type:issue&fl=id,publication_date,thumbnail,paper_title&sort=sort.publication_date%20DESC&rows=1 
      nächster: (1e) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?q=publication_date:[1921-12-02T12:00:00Z%2B1DAY/DAY%20TO%20*]%20AND%20type:issue&fl=id,publication_date,thumbnail,paper_title&sort=sort.publication_date%20ASC&rows=1 
    • Liste von zufälligen Zeitungsausgaben, eine Ausgabe pro Tag im Zeitraum von -10 bis +10 Tagen im das heutige Datum vor 100 Jahren:
      http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?q=publication_date:[NOW-100YEARS-10DAYS/DAY%20TO%20NOW-100YEARS%2B10DAYS/DAY]&group=true&group.func=ms(sort.publication_date)&group.ngroups=true&fl=id,publication_date,thumbnail,paper_title&group.main=true&sort=sort.publication_date%20asc&rows=20&group.sort=random_1234%20DESC
      wobei 1234 durch einen beliebigen zufälligen Seed zu ersetzen ist (evtl. aktueller Timestamp).
    • List of all newspapers of 100 years ago today (Date changed accordingly): http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?fl=id%2Cpagenumber%2Cpaper_title%2Cpublication_date%2Cthumbnail%2C[child+limit%3D1]&q=*:*&start=0&rows=12&group=true&group.field=issue_id&group.limit=1000
      &group.sort=pagenumber+asc&hl=true&hl.method=original&hl.fl=plainpagefulltext&hl.snippets=1000&hl.maxAnalyzedChars=10000000&hl.simple.pre=%3Cmatch%3E
      &hl.simple.post=%3C%2Fmatch%3E&hl.requireFieldMatch=true&hl.fragAlignRatio=0.47&hl.fragsize=210&hl.mergeContiguous=false&sort=&fq=publication_date%3A%22[1924-02-09+TO+1924-02-09]%22

• Suchergebnisseite
  
  
  • Suchergebnisse: http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&hl=on&fl=id,paper_title,publication_date,thumbnail,[child%20limit=1]&hl.fl=issuefulltext&hl.snippets=1000&hl.maxAnalyzedChars=10000000&hl.simple.pre=<b>&hl.simple.post=</b> 
    - das Vorhandensein von "_childDocuments_" sagt ob die Ausgabe Volltexte hat.
    - An Anzahl der Snippets gibt die Anzahl der Treffer in der Ausgabe. Anzuzeigen ist nur das erste Snippet, sofern vorhanden.
    - Sortierung der Ergebnisse:
    
    • Älteste/Neueste: &sort=sort.publication_date asc/desc
    • A-Z: &sort=paper_title asc/desc
    • Relevanz: ohne sort Parameter
  • Suchergebnisse: (2a) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Hamburg&group=true&group.field=issue_id&group.ngroups=true&group.limit=10&hl=true&hl.fl=plainpagefulltext&hl.snippets=100&hl.maxAnalyzedChars=10000000&hl.simple.pre=<b>&hl.simple.post=</b>&fl=id,pagenumber,paper_title,publication_date,thumbnail,[child%20limit=1] 
    • Anzahl der gefundenen Ausgaben: "grouped" → "issue_id" → "ngroups"
    • Titel der gefundenen Ausgabe: "grouped" → "issue_id" → "groups" → "doclist" → [0] → "paper_title"
    • Publikationsdatum: "grouped" → "issue_id" → "groups" → "doclist" → [0] → "publication_date"
    • Thumbnail der gefundenen Ausgabe: "grouped" → "issue_id" → "groups" → "doclist" → [0] → "thumbnail"
    • ID der gefundenen Ausgabe (für die Verlinkung): "grouped" → "issue_id" → "groups" → "groupValue"
    • Liste der Seiten auf denen Treffer gefunden wurden (für das Treffer Popup): "grouped" → "issue_id" → "groups" → "doclist" (nur Einträge mit vorhandener Pagenumber)
    • Seitenzahl (für das Trefferpopup): "grouped" → "issue_id" → "groups" → "doclist" → [] → "pagenumber"
    • Seitenreferenz: "grouped" → "issue_id" → "groups" → "doclist" → [] → "id"
    • Snippet auf der Suchergebnisseite: "highlighting" → Seitenreferenz → "plainpagefulltext" → [0]
    • Anzahl der Treffer in einer Ausgabe: Aufsummieren der Snippets pro gefundener Seite
    • Snippets für das Trefferpopup: "highlighting" → Seitenreferenz → "plainpagefulltext"
  • Zeitraum - Werte für das Diagramm und Anfangs-/Endjahr des Diagrams:
    (2b) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&rows=0&facet=on&facet.field=publication_year
  • Zeitraum - Werte für die Anfangsdatum-Dropdowns
    (2c) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&fl=publication_date&sort=sort.publication_date%20asc&rows=1
  • Zeitraum - Werte für die Enddatum-Dropdowns
    (2d) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&fl=publication_date&sort=sort.publication_date%20desc&rows=1
  • Zeitung - Listeneinträge:
    (2e) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&rows=0&facet=on&facet.field=paper_title_fct&facet.mincount=1&group=true&group.field=issue_id&group.facet=true
  • Verbreitungsort - Listeneinträge:
    (2f.1) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&rows=0&facet=on&facet.field=place_of_distribution&facet.mincount=1&group=true&group.field=issue_id&group.facet=true
    Verbreitungsort - Listeneinträge gefiltert:
    (2f.2) &hl.maxAnalyzedChars=10000000&hl.simple.pre=<b>&hl.simple.post=</b>&fl=id,pagenumber,paper_title,publication_date,thumbnail 
    • Anzahl der gefundenen Ausgaben: "grouped" → "issue_id" → "ngroups"
    • Titel der gefundenen Ausgabe: "grouped" → "issue_id" → "groups" → "doclist" → [0] → "paper_title"
    • Publikationsdatum: "grouped" → "issue_id" → "groups" → "doclist" → [0] → "publication_date"
    • Thumbnail der gefundenen Ausgabe: "grouped" → "issue_id" → "groups" → "doclist" → [0] → "thumbnail"
    • ID der gefundenen Ausgabe (für die Verlinkung): "grouped" → "issue_id" → "groups" → "groupValue"
    • Liste der Seiten auf denen Treffer gefunden wurden (für das Treffer Popup): "grouped" → "issue_id" → "groups" → "doclist" (nur Einträge mit vorhandener Pagenumber)
    • Seitenzahl (für das Trefferpopup): "grouped" → "issue_id" → "groups" → "doclist" → [] → "pagenumber"
    • Seitenreferenz: "grouped" → "issue_id" → "groups" → "doclist" → [] → "id"
    • Snippet auf der Suchergebnisseite: "highlighting" → Seitenreferenz → "plainpagefulltext" → [0]
    • Anzahl der Treffer in einer Ausgabe: Aufsummieren der Snippets pro gefundener Seite
    • Snippets für das Trefferpopup: "highlighting" → Seitenreferenz → "plainpagefulltext"
    Zeitraum - Werte für das Diagramm und Anfangs-/Endjahr des Diagrams:
    (2b) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&rows=0&facet=on&facet.field=publication_year
  • Zeitraum - Werte für die Anfangsdatum-Dropdowns
    (2c) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&fl=publication_date&sort=sort.publication_date%20asc&rows=1
  • place_of_distribution&facet.mincount=1&group=true&group.field=issue_id&group.facet=true&fq=place_of_distribution:"Wil"&facet.contains=Wil&facet.contains.ignoreCase=true
  • Datengeber - Listeneinträge:
    (2gZeitraum - Werte für die Enddatum-Dropdowns
    (2d) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&fl=publication_date&=Stadt&rows=0&facet=on&facet.field=provider&facet.mincount=1&group=true&group.field=issue_id&group.facet=true
  • Sprache sort=sort.publication_date%20desc&rows=1Zeitung - Listeneinträge:
    (2e2h) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&rows=0&facet=on&facet.field=paper_title_fctlanguage&facet.mincount=1&group=true&group.field=issue_id&group.facet=trueVerbreitungsort - Listeneinträge:
    (2f) 1 (Ergebnisse sind ISO-639-2 Codes)
  • Zeitung, Verbreitungsort, Datengeber, Sprahe - Listeneinträge (Requested together to improve loading page time) DDBNEXT-6448
    (2i) POST http://ddb-dip1-vm05vmback03.fiz-karlsruhe.de:81838181/search/solrindex/newspaper-issues/newspaper-search?q=Stadt&rows=0&facet=on&facet.field=place_of_distribution&facet.mincount=1&group=true&group.field=issue_id&group.facet=true
  • Datengeber - Listeneinträge:
    (2g) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&rows=0&facet=on&facet.field=provider&facet.mincount=1&group=true&group.field=issue_id&group.facet=true
  • Sprache - Listeneinträge:
    (2h) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&rows=0&facet=on&facet.field=language&facet.mincount=1 (Ergebnisse sind ISO-639-2 Codes)client=DDB-NEXT
          body - "{"query":"*","limit":0,"facet":{"zdb_id":{"type":"terms","field":"zdb_id","limit":5},"place_of_distribution":{"type":"terms","field":"place_of_distribution","limit":5},"provider":{"type":"terms","field":"provider","limit":5},"language":{"type":"terms","field":"language","limit":5}},"filter":["{!collapse field=issue_id}"]}" 

Anmerkung: Sollen nur die 4 am häufigsten vorkommenden Facettenwerte angezeigt werden, lässt sich die Anzahl der zurückgegebenen Werte mit &facet.limit=4 beschränken.

...

• Suche nach Erscheinungstermin: 
  
  (4a) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?facet.field=publication_year&facet=on&facet.limit=500&q=*%3A*&rows=0
  
  
• Jahreskalender:
  (5a(4a) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?q=publication_year:1929&facet.fieldrange=publication_yeardate&facet=ontrue&facet.range.start=1929-01-01T00:00:00Z/DAY&facet.range.limit=500&q=*%3A*end=1930-01-01T00:00:00Z/DAY&facet.range.gap=%2B1DAY&rows=0

• JahreskalenderTreffer nach Datum:
  
  • Ergebnisliste: (
  5a
  • 6a) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?q=publication_
  year
  • date:1929
  &facet.range=publication_date&facet=true&facet.range.start=1929-01-01T00:00:00Z/DAY&facet.range.end=1930-01-01T00:00:00Z/DAY&facet.range.gap=%2B1DAY&rows=0Treffer nach Datum:
  
  • -01-10%20AND%20type:issue&fl=*,[child%20limit=1] 

• Zeitungsseite - Gesamtansicht
  
  • graue Box:
    (7a) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper/select?q=id:2803990-7%20AND%20hasLoadedIssues:true 
  • Verfügbare Ausgaben: 
    (7b) Ergebnisliste: (6a)  http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?q=publication_date:1929-01-10&fl=*,[child%20limit=1]
  Zeitungsseite - Gesamtansicht
  
  • solr/newspaper-issues/select?facet.field=publication_year&facet=on&facet.limit=-1&q=zdb_id:2803990-7%20AND%20type:issue&rows=0 
  • Number or Available issues:
    (7cgraue Box:
    (7a) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?q=id:2803990-7 Verfügbare Ausgaben: 
    type%3Aissue%20%26%26%20zdb_id%3A2843666-0&rows=0 DDBNEXT-6197
  • Image and caption:
    (7d(7b) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?facet.fieldfl=publication_yeardate%20thumbnail&facetindent=ontrue&facetq.limitop=500AND&q=zdb_id:2803990-7id%3A%222814128-3%22%20%20thumbnail%3A*%20type%3Aissue&rows=0=1&sort=sort.publication_date%20asc DDBNEXT-6195
  • Vorgeschlagene Ausgaben dieser Zeitung: Randomisierte Ausgaben der gegebenen Zeitung: 
    (7c) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?q=zdb_id:2803990-77%20AND%20type:issue&sort=random_1234%20desc1234%20desc 
    wobei 1234 durch einen beliebigen zufälligen Seed zu ersetzen ist (evtl. aktueller Timestamp).  Removed in DDBNEXT-6197
    

• Zeitungsseite - Kalender
  • graue Box: siehe "Zeitungsseite - Gesamtansicht 1 → graue Box"
  • Verfügbare Ausgaben: 
    (8a) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?q=publication_year:1929%20AND%20zdb_id:2728009-33%20AND%20type:issue&facet.range=publication_date&facet=on&facet.range.start=1929-01-01T00:00:00Z/DAY&facet.range.end=1930-01-01T00:00:00Z/DAY&facet.range.gap=%2B1DAY&rows=0 
  • Ausgaben für einen konkreten Tag: 
    (8b) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?q=zdb_id:2803882-4%20AND%20publication_date:1906-01-0202%20AND%20type:issue&fl=* 

• Suche nach Ort
  • Buchstabenleiste:
    (9a) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper/select?q=+hasLoadedIssues:true&facet=on&facet.field=glossary.location&rows=0&facet.sort=index 
  • Liste der Orte:
    (9b) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper/select?q=+hasLoadedIssues:true%20+location:d*&facet.sort=index&rows=0&facet.mincount=1&facet=on&facet.field=location_fct&facet.matches=[dD].* 
    http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper/select?q=+hasLoadedIssues:true%20+location:d*&facet.prefix=d&facet=on&facet.field=location&facet.sort=index&rows=0&facet.mincount=1 
  • Suchergebnisse:
    (9c) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper/select?q=+glossary.location:D%20+hasLoadedIssues:true 
    http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper/select?q=+location:D*%20+hasLoadedIssues:true 

...

• Objektseite (DFG Viewer)
  • Vorherige/Nächste Ausgabe:
    Vorherige: (14a) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?q=zdb_id:2846529-5%20AND%20publication_date:[*%20TO%201921-05-27T00:00:00Z]%20AND%20type:issue&fl=id,publication_date&sort=sort.publication_date%20DESC&rows=1 1 
    Nächste: (14b) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?q=zdb_id:2846529-5%20AND%20publication_date:[1921-05-27T23:59:59Z%20TO%20*]%20AND%20type:issue&fl=id,publication_date&sort=sort.publication_date%20ASC&rows=1 1 
  • Volltext Suche innerhalb einer Ausgabe: (14c) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?hl.ocr.fl=pagefulltext&hl=true&fl=id,pagename&q=+{!child%20of=%27id:4175160268881036%27}%20issue_id:4175160268881036%20+pagefulltext:%22Fernsprecher%22

Beispiel-Queries zum Bedienen der Anforderungen des Ingest-Prozesses

...