Commit 8f947aec authored by Martin Scholz's avatar Martin Scholz
Browse files

Add more info to README

parent 1148f45d
......@@ -4,14 +4,15 @@ Skripte zum Generieren der Triples für das Objekte-im-Netz-WissKI der Graphisch
Die Skripte liegen im FAU-GitLab unter https://gitlab.rrze.fau.de/simnscho/oin-graphik-triplegen .
Die Skripte sind installiert auf dem Server dh1.ub.fau.de (nur innerhalb der FAU erreichbar).
Die Skripte sind installiert auf dem Server dh1.ub.fau.de.
Dieser Server ist nur innerhalb der FAU erreichbar!
# Konzept des Imports / der Triple-Generierung
## Verwendete Quellen
Die im OiN-Graphik-WissKI anzuzeigenden Informationen entstammen vier verschiedenen Quellen, die
Die im OiN-Graphik-WissKI anzuzeigenden Informationen entstammen fünf verschiedenen Quellen, die
jeweils unterschiedliche Schnittstellen bieten:
- Dem bayrischen Verbundkatalog beziehungsweise dem B3Kat
......@@ -29,10 +30,35 @@ jeweils unterschiedliche Schnittstellen bieten:
die Digitalisat-ID zu ermitteln und die Bild-URL zu konstruieren.
- Einer Excel/CSV-Datei, die die Zuordnung von Iconclass-Termini zu BV-Nummern enthält.
Diese liegt (bisher) nur lokal in der UB vor.
- Eine statitsche Triples-Datei mit generischen und allgemein gebrauchten Instanzen wie etwa
für das festgelegte Material "Papier".
## Vorgehen beim Import in WissKI
Der Import in WissKI erfolgt durch Generierung von Triple-Dateien mittels der
Skripte und direkten Upload in den Triple Store.
Nach dem Upload sind die Daten dann sofort in WissKI sicht- und nutzbar.
Folgende Dateien müssen (manuell) in den Triple Store geladen werden:
- all.nt: Erstellt aus Skript `make_all_triples.sh`
- static_lit.nt: Erstellt aus Skript `make_all_triples.sh`
- iconclass.nt: Erstellt aus Skript `iconclass_compile_triples.sh`
- static_triples.rdf: Statische Datei. Wird nicht erstellt.
Alle Dateien müssen für den Upload in den Triple Store im Webserver-Verzeichnis abgelegt werden
mittels des Skripts `translate_to_oin.sh`. (siehe unten)
Die Dateien sind dann über die URL `http://dh1.ub.fau.de/oin/<DATEI>` abrufbar.
Der Upload geschieht in der GUI von GraphDB unter Import > RDF.
Für jede Datei sollte dort bereits eine Vorlage zum (nochmaligen) Upload existieren.
Die Dateien sollten in unterschiedliche Graphen importiert werden, um ein späteres Update zu
vereinfachen.
Momentan werden folgende Graphen verwendet:
- `http://objekte-im-netz.fau.de/graphik/id/objects-all`für `all.nt`
- `http://objekte-im-netz.fau.de/graphik/id/iconclass-taggings` für `iconclass.nt`
- `http://objekte-im-netz.fau.de/graphik/id/static` für `static_triples.rdf`
## Warum Skripte und Upload statt WissKI-ODBC-Import
......@@ -60,19 +86,26 @@ geeignete Tools zurückgreifen kann:
Gebrauch und erfordern Xalan.
- Zur Datenaufbereitung und teils zur Triple-Generierung wird Perl genutzt
## Bekannte Probleme
- Iconclass-Codes mit Leerzeichen: Bei Iconclass werden die URIs direkt aus den Codes gebildet.
Enthalten die Codes Leerzeichen wie bei 73D82(CROWN OF THORNS), werden diese mit %20 escaped.
WissKI löst diese Escapes nicht richtig auf und kann diese Termini daher auch nicht darstellen.
# Anleitung zum Einsatz der Skripte
# Anleitung zum Einsatz der Skripte und Erstellung der Triple-Dateien
Alle Triple-Daten werden über den Aufruf zweier Skripte erstellt:
Triple-Daten werden über den Aufruf zweier Skripte erstellt:
- `make_all_triples.sh`: Erstellt alle die Triples, die zu einzelnen Objekten gehören.
- `make_all_triples.sh`: Erstellt all die Triples, die zu einzelnen Objekten gehören.
- `iconclass_compile_triples.sh`: Erstellt die Verlinkungen zu Iconclass-Termen (Feld "Motiv")
Beide Skripte erstellen je eine ntriples-Datei, die in den Triple Store zu importieren ist.
Darüber hinaus gibt es noch die Datei `static_triples.rdf` mit statischen Triples für allgemeine
Instanzen.
Auch diese ist zu importieren.
Darüber hinaus gibt es das Skript `translate_to_oin.sh`, welches OiN-spezifische Anpassungen an
einer Triple-Datei vornimmt und diese im oin-Verzeichnis des Webservers ablegt, so dass die Datei
für den Upload in den Triple Store fertig ist.
Während `make_all_triples.sh` dieses Skript bereits ausführt, ist es auf die Ausgabe von
`iconclass_compile_triples.sh` und auf die Datei `static_triples.rdf` anzuwenden.
## make_all_triples.sh
......@@ -80,6 +113,13 @@ Diesem Skript wird eine Liste an BV-Nummern übergeben.
Es erzeugt für die über die BV-Nummern spezifizierten Objekte alle relevanten Triples und
speichert sie in einer Hand voll Dateien, die sodann in den Triple Store geladen werden können.
Als Ausgabe generiert das Skript Dateien im Verzeichnis data/nt:
- `all.\<ZEITSTEMPEL\>.nt`
- `static_lit.\<ZEITSTEMPEL\>.nt`
Im Webserver-Verzeichnis werden die Dateien ohne Zeitstempel im Namen abgelegt.
Zusätzlich sind diese Varianten weiter an das OiN-WissKI angepasst, zum Beispiel wird das
OiN-URI-Schema verwendet.
### Syntax
```$ cat <BVno files>... | ./make_all_triples.sh```
......@@ -104,9 +144,7 @@ Das Skript ruft sequentiell weitere Skripte auf, die
- die Triple-Dateien für den Import ins OiN-WissKI aufbereiten und im Webserver-Verzeichnis
platzieren, so dass der Import in den Triple Store reibungslos und immer gleich passieren kann.
Das Skript protokolliert den Lauf in die Datei `log_all_<DATUM>.txt`.
Das Skript protokolliert den Lauf in die Datei `log_all_<ZEITSTEMPEL>.txt`.
# Datenverzeichnis
......
Supports Markdown
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment