Versions Compared

Old Version 113

changes.mady.by.user van Ross, Daniel

Saved on

compared with

New Version Current

changes.mady.by.user Orradre-San-Martin, Daniel

Saved on

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

Der ZDB Index wird mit Hilfe der Newspaper Spark App aus dem ZDB Dump aufgebaut. 

Schema

https://dev.fiz-karlsruhe.de/stash/projects/DDB/repos/sparkddb-newspaperbackend-appsolr/browse/src/main/resources/solr/conf/newspaper/conf/schema.xml?at=refs%2Fheads%2Fmaster

Besonderheiten

...

Zeitungsausgabenindex

...

Dieser Index arbeitet mit Nested Documents um sowohl die Zeitungsausgaben als auch die Einzelseiten der Ausgaben zu speichern. Die Menge der im Schema definierten Felder enthält also die für die Ausgaben so wie auch die für die Einzelseiten.

https://dev.fiz-karlsruhe.de/stash/projects/DDB/repos/sparkddb-newspaperbackend-appsolr/browse/src/main/resources/solr/conf/newspaper-issues/conf/schema.xml?at=refs%2Fheads%2Fmaster

Besonderheiten

Dieser Index benutzt das SOLR-OCR-Plugin des MDZ um die Volltexte und inkl. der Wortpositionen aus den gelieferten ALTO Dateien zu indexieren. 

...

https://xd.adobe.com/view/e385a318-37bf-4ea7-56d8-2774adbf7d11-95b4/


  • Suchergebnisseite

    • Suchergebnisse: http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&hl=on&fl=id,paper_title,publication_date,thumbnail,[child%20limit=1]&hl.fl=issuefulltext&hl.snippets=1000&hl.maxAnalyzedChars=10000000&hl.simple.pre=<b>&hl.simple.post=</b> (tick)
      - das Vorhandensein von "_childDocuments_" sagt ob die Ausgabe Volltexte hat. (tick)
      - An Anzahl der Snippets gibt die Anzahl der Treffer in der Ausgabe. Anzuzeigen ist nur das erste Snippet, sofern vorhanden. (tick)
      - Sortierung der Ergebnisse: (tick)
      • Älteste/Neueste: &sort=sort.publication_date asc/desc
      • A-Z: &sort=paper_title asc/desc
      • Relevanz: ohne sort Parameter
    • Suchergebnisse: (2a) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Hamburg&group=true&group.field=issue_id&group.ngroups=true&group.limit=10&hl=true&hl.fl=plainpagefulltext&hl.snippets=100&hl.maxAnalyzedChars=10000000&hl.simple.pre=<b>&hl.simple.post=</b>&fl=id,pagenumber,paper_title,publication_date,thumbnail,[child%20limit=1] (tick)
      • Anzahl der gefundenen Ausgaben: "grouped" → "issue_id" → "ngroups"
      • Titel der gefundenen Ausgabe: "grouped" → "issue_id" → "groups" → "doclist" → [0] → "paper_title"
      • Publikationsdatum: "grouped" → "issue_id" → "groups" → "doclist" → [0] → "publication_date"
      • Thumbnail der gefundenen Ausgabe: "grouped" → "issue_id" → "groups" → "doclist" → [0] → "thumbnail"
      • ID der gefundenen Ausgabe (für die Verlinkung): "grouped" → "issue_id" → "groups" → "groupValue"
      • Liste der Seiten auf denen Treffer gefunden wurden (für das Treffer Popup): "grouped" → "issue_id" → "groups" → "doclist" (nur Einträge mit vorhandener Pagenumber)
      • Seitenzahl (für das Trefferpopup): "grouped" → "issue_id" → "groups" → "doclist" → [] → "pagenumber"
      • Seitenreferenz: "grouped" → "issue_id" → "groups" → "doclist" → [] → "id"
      • Snippet auf der Suchergebnisseite: "highlighting" → Seitenreferenz → "plainpagefulltext" → [0]
      • Anzahl der Treffer in einer Ausgabe: Aufsummieren der Snippets pro gefundener Seite
      • Snippets für das Trefferpopup: "highlighting" → Seitenreferenz → "plainpagefulltext"
    • Zeitraum - Werte für das Diagramm und Anfangs-/Endjahr des Diagrams: (tick)
      (2b) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&rows=0&facet=on&facet.field=publication_year
    • Zeitraum - Werte für die Anfangsdatum-Dropdowns (tick)
      (2c) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&fl=publication_date&sort=sort.publication_date%20asc&rows=1
    • Zeitraum - Werte für die Enddatum-Dropdowns (tick)
      (2d) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&fl=publication_date&sort=sort.publication_date%20desc&rows=1
    • Zeitung - Listeneinträge: (tick)
      (2e) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&rows=0&facet=on&facet.field=paper_title_fct&facet.mincount=1&group=true&group.field=issue_id&group.facet=true
    • Verbreitungsort - Listeneinträge: (tick)
      (2f.1) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&rows=0&facet=on&facet.field=place_of_distribution&facet.mincount=1&group=true&group.field=issue_id&group.facet=true
      Verbreitungsort - Listeneinträge gefiltert:
      (2f.2) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&rows=0&facet=on&facet.field=place_of_distribution&facet.mincount=1&group=true&group.field=issue_id&group.facet=true&fq=place_of_distribution:"Wil"&facet.contains=Wil&facet.contains.ignoreCase=true
    • Datengeber - Listeneinträge: (tick)
      (2g&hl.maxAnalyzedChars=10000000&hl.simple.pre=<b>&hl.simple.post=</b>&fl=id,pagenumber,paper_title,publication_date,thumbnail,[child%20limit=1] (tick)
      • Anzahl der gefundenen Ausgaben: "grouped" → "issue_id" → "ngroups"
      • Titel der gefundenen Ausgabe: "grouped" → "issue_id" → "groups" → "doclist" → [0] → "paper_title"
      • Publikationsdatum: "grouped" → "issue_id" → "groups" → "doclist" → [0] → "publication_date"
      • Thumbnail der gefundenen Ausgabe: "grouped" → "issue_id" → "groups" → "doclist" → [0] → "thumbnail"
      • ID der gefundenen Ausgabe (für die Verlinkung): "grouped" → "issue_id" → "groups" → "groupValue"
      • Liste der Seiten auf denen Treffer gefunden wurden (für das Treffer Popup): "grouped" → "issue_id" → "groups" → "doclist" (nur Einträge mit vorhandener Pagenumber)
      • Seitenzahl (für das Trefferpopup): "grouped" → "issue_id" → "groups" → "doclist" → [] → "pagenumber"
      • Seitenreferenz: "grouped" → "issue_id" → "groups" → "doclist" → [] → "id"
      • Snippet auf der Suchergebnisseite: "highlighting" → Seitenreferenz → "plainpagefulltext" → [0]
      • Anzahl der Treffer in einer Ausgabe: Aufsummieren der Snippets pro gefundener Seite
      • Snippets für das Trefferpopup: "highlighting" → Seitenreferenz → "plainpagefulltext"
      Zeitraum - Werte für das Diagramm und Anfangs-/Endjahr des Diagrams: (tick)
      (2b) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&rows=0&facet=on&facet.field=provider&facet.mincount=1&group=true&group.field=issue_id&group.facet=true
    • Sprache - Listeneinträge: (tick)
      (2hfield=publication_yearZeitraum - Werte für die Anfangsdatum-Dropdowns (tick)
      (2c) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&flrows=publication_date0&sortfacet=sort.publication_date%20asc&rows=1Zeitraum - Werte für die Enddatum-Dropdowns (tick)
      (2d) on&facet.field=language&facet.mincount=1 (Ergebnisse sind ISO-639-2 Codes)
    • Zeitung, Verbreitungsort, Datengeber, Sprahe - Listeneinträge (Requested together to improve loading page time) DDBNEXT-6448
      (2i) POST http://ddb-dip1-vm05vmback03.fiz-karlsruhe.de:81838181/search/solrindex/newspaper-issues/newspaper-search?q=Stadt&fl=publication_date&sort=sort.publication_date%20desc&rows=1
    • Zeitung - Listeneinträge: (tick)
      (2e) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&rows=0&facet=on&facet.field=paper_title_fct&facet.mincount=1&group=true&group.field=issue_id&group.facet=true
    • Verbreitungsort - Listeneinträge: (tick)
      (2f.1) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&rows=0&facet=on&facet.field=place_of_distribution&facet.mincount=1&group=true&group.field=issue_id&group.facet=true
      Verbreitungsort - Listeneinträge gefiltert:
      (2f.2) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&rows=0&facet=on&facet.field=place_of_distribution&facet.mincount=1&group=true&group.field=issue_id&group.facet=true&fq=place_of_distribution:"Wil"&facet.contains=Wil&facet.contains.ignoreCase=true
      • Datengeber - Listeneinträge: (tick)
      (2g)
    • client=DDB-NEXT
            body - "{"query":"*","limit":0,"facet":{"zdb_id":{"type":"terms","field":"zdb_id","limit":5},"place_of_distribution":{"type":"terms","field":"place_of_distribution","limit":5},"provider":{"type":"terms","field":"provider","limit":5},"language":{"type":"terms","field":"language","limit":5}},"filter":["{!collapse field=issue_id}"]}" 


Anmerkung: Sollen nur die 4 am häufigsten vorkommenden Facettenwerte angezeigt werden, lässt sich die Anzahl der zurückgegebenen Werte mit &facet.limit=4 beschränken.

Einschränkung auf Facetten: Die oben genannten Queries können erweitert werden um die Ergebnisse auf eine ober mehrere gewählte Facetten einzuschränken. Dies geschieht durch die Angabe einer oder mehrer Filter-Queries (fq)
Beispiele: 

Sprache deutsch gewählt: &fq=language:ger
http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&fq=language:ger

Sprachen englisch und Verbreitungsort Dresden: &fq=language:eng&fq=place_of_distribution:Dresden
http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&

...

fq=

...

language:eng&

...

fq=place_of_distribution:Dresden

...

Einschränkung auf die Zeitung: &fq=paper_title_fct:" Leipziger jüdische Wochenschau"

http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&

...

fq=paper_title_fct:" Leipziger jüdische Wochenschau"

  • Treffer Popup

Anmerkung: Sollen nur die 4 am häufigsten vorkommenden Facettenwerte angezeigt werden, lässt sich die Anzahl der zurückgegebenen Werte mit &facet.limit=4 beschränken.

Einschränkung auf Facetten: Die oben genannten Queries können erweitert werden um die Ergebnisse auf eine ober mehrere gewählte Facetten einzuschränken. Dies geschieht durch die Angabe einer oder mehrer Filter-Queries (fq)
Beispiele: 

...

Beim Klick auf "x Treffer in dieser Ausgabe" auf der Suchergebnisseite muss ein weiterer Request gemacht werden um die anzuzeigenden Treffer zu holen: 


http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/

...

Sprachen englisch und Verbreitungsort Dresden: &fq=language:eng&fq=place_of_distribution:Dresden
http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/newspaper-search?q=Stadt&fq=language:eng&fq=place_of_distribution:Dresden

...

select?hl.ocr.fl=pagefulltext&hl=true&hl.snippets=1000&fl=id,pagename,_nest_path_&q=pagefulltext:Hamburg%20AND%20id:KOUQGPUBBETUUKSQ2WMG7B4X2QM6FY2R*&hl.ocr.contextBlock=line&hl.ocr.contextSize=4&sort=pagename%20ASC

Anmerkungen:
- Im Request muss ein * an die Id der Ausgabe gehängt werden.
- "response"→"docs" enthält eine Liste der Seiten auf denen Treffer gefunden wurden. Die anzuzeigenden Seitenzahl steckt in "_nest_path_", ist aber 0-basiert, muss zur Anzeige also um 1 erhöht werden. 
- Die anzuzeigenden Textsnippets pro Seite sind zu finden unter "ocrHighlighting" → Seiten-ID → "pagefulltext" → "snippets" → "text"


  • Suche nach Erscheinungstermin: (error)
    (4a) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/

...

  • Treffer Popup

...

  • select?facet.field=publication_year&facet=on&facet.limit=500&q=*%3A*&rows=0

  • Jahreskalender: (tick)
    (5a) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?

...

  • q=publication_year:1929&facet.range=publication_date&facet=true&facet.range.start=1929-01-01T00:00:00Z/DAY&facet.range.end=1930-01-01T00:00:00Z/DAY&facet.range.gap=%2B1DAY&rows=0

 

  • Treffer nach Datum:
    Suche nach Erscheinungstermin: (error)
    (4a)
    • Ergebnisliste: (6a) 
    • http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper-issues/select?
    facet.field
    • q=publication_
    year&facet=on&facet.limit=500&q=*%3A*&rows=0
    Jahreskalender
    • date:1929-01-10%20AND%20type:issue&fl=*,[child%20limit=1] (error)

 


 

  • Suche nach Ort
    • Buchstabenleiste: (tick)
      (9a) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper/select?q=+hasLoadedIssues:true&facet=on&facet.field=glossary.location&rows=0&facet.sort=index (tick)
    • Liste der Orte:
      (9b) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper/select?q=+hasLoadedIssues:true%20+location:d*&facet.sort=index&rows=0&facet.mincount=1&facet=on&facet.field=location_fct&facet.matches=[dD].* (tick)
      http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper/select?q=+hasLoadedIssues:true%20+location:d*&facet.prefix=d&facet=on&facet.field=location&facet.sort=index&rows=0&facet.mincount=1 
    • Suchergebnisse:
      (9c) http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper/select?q=+glossary.location:D%20+hasLoadedIssues:true (tick)
      http://ddb-di-vm05.fiz-karlsruhe.de:8183/solr/newspaper/select?q=+location:D*%20+hasLoadedIssues:true 

...