Heute hatte ich einen Abstecher zum Bibliothekartag 2017 nach Frankfurt am Main gemacht. Zum einen, um etliche Ex-Kommilitonen zu treffen, zum anderen war ich am Workshop von Yvonne Tunnat von der ZBW zur Formatidentifikation interessiert.
Yvonne hat eine wunderbare, pragmatische Art komplizierte Sachverhalte zu erklären. Wer sie kennenlernen möchte, der nestor-Praktikertag 2017 zur Formatvalidierung hat noch Plätze frei.
Zwei Dinge, die ich mitnehme. Zum einen kannte ich das Werkzeug peepdf noch nicht. Es handelt sich um ein CLI-Programm um eine PDF-Datei zu sezieren und kommt ursprünglich aus der Forensik-Ecke.
Zum anderen gibt es mit Bad Peggy ein Validierungstool um JPEGs zu analysieren.
Eine Diskussion, die immer wieder auftaucht ist die, wie man mit unbekannten Dateiformaten umgeht. IMHO sind diese nicht archivfähig, und wie Binärmüll zu betrachten. Dazu bedarf es aber mal eines längeren Beitrags und einer genaueren Analyse, ob und unter welchen Bedingungen solche Dateien vernachlässigbar sind, oder der long-tail zuschlägt.
BTW., wer am Mittwoch noch auf dem Bibtag ist, schaue mal beim Vortrag unserer Kollegin Sabine zu den Ergebnissen der PDF/A Validierung vorbei.
Posts mit dem Label PDF werden angezeigt. Alle Posts anzeigen
Posts mit dem Label PDF werden angezeigt. Alle Posts anzeigen
Dienstag, 30. Mai 2017
Donnerstag, 30. März 2017
Nestor - DIN - Workshop "Digitale Langzeitarchivierung", Nachlese
Falls Fehler vorliegen bitten wir um eine Email mit Korrekturhinweisen ;)
Arbeiten des NID 15 Ausschuß
Im Kern ging es im Workshop um die Frage, welchen Standard wollen wir in der digitalen Langzeitarchivierung in den nächsten 5-8 Jahren haben und wie kommen wir dahin?
Mit dieser Frage startete Prof. Keitel den Workshop und skizzierte nachfolgend die Ausgangslage von 2005.
- abstraktes Thema "digitale Archivierung"
- DIN 31646/31644/31645 aus Nestor "Dunstkreis"
- DIN 31647 "Beweiserhaltung kryptograf. signierter Dokumente"
- Rücklauf, ob Norm in Praxis verwendet werden ist schwierig zu erkennen
- beziehen sich auf OAIS (ISO14721)
- zeigen, ob man sich noch im Rahmen der digitalen LZA bewegt.
Aktuell ergänzen praktische Erfahrungen diese frühen theorethischen Überlegungen. Die Frage ist daher, ob es Bereiche gibt, wo sich die Ausgangsthesen mittlerweile überholt haben?
Es gilt, so Prof. Keitel,
- Schwerpunkte, die sich zur Standardisierung eignen, herauszukristallisieren
- Mitarbeitern zu finden, die sich in der Normierungsarbeit in den neuen Feldern einbringen wollen
Ob man für Normungsarbeit geeignet sei, läßt sich launisch an folgenden Kriterien festmachen (Zitat):
- Lange auf Stuhl sitzen
- Verbessere gern Geschriebenes anderer Leute
- bei genauen terminologischen Definitionen verstehe ich keinen Spaß und mache keine Kompromisse
- ich lese gerne Dokumente mit Titelen, wie...
PDF Standardisierung
Olaf Drümmer von der callas software GmbH skizzierte einführend die Geschichte von PDF und wies auf die neue Version 2 hin:
- 1993-2006 Adobe PDF 1.0 -> 1.7
- 2008 ISO: PDF 1.7 als ISO 32000-1
- 2017 ISO: PDF 2.0 als ISO 32000-2 (im nächsten Quartal, >1000 Seiten)
- neue kryptografische Verfahren
- tagging überarbeitet
- Problemfeld im Normungsprozess waren Farben
- Namespaces wurden eingeführt, zB. um Tags aus HTML 5 einbinden
- 2001 PDF/X Übermittlung von Druckvorlagen
- 2005 PDF/A Archivierung, ISO Reihe 19005
- entstanden aus Notwendigkeiten der US Courts, Library of Congress
- 2008 PDF/E ISO 24517, Engineering (CAD), noch nicht stark verbreitet, Ende des Jahres auch 3D Modelle
- 2010 PDF/VT ISO 16612-2 + PDF/VCR ISO 16612-3, variabler Datendruck (großvolumige Rechnungen, Serienbriefe)
- 2012 PDF/UA ISO 14289 Reihe, Barrierefreiheit
Verbreitung von PDF Dokumenten:
- Anzahl PDF Dokumente weltweit, mind. Billionen (10¹²), davon 6 Millionen allein beim US Court
- Lebenserwartungen pro PDF: Stunden bis Jahre
- PDF/X, 8 Normteile, insgesamt 12 Konformitätsstufe
- PDF/A Normenreihe, 3 Normteile, insgesamt 8 Konformitätsstufen
- Unübersichtlich, mangelnde Trennschärfe?
- Flexibilität bzw. Mächtigkeit
- offener Charakter
- breite Abdeckung
- PDF2.0 weitgehend rückwärtskompatibel, keine Validierung bei Veröffentlichungen vorgesehen
- Projekt "Camelot2" soll klassische PDF-Dokumentenwelt und Open Web Platform zusammenbringen, mehr Infos zu PDF Days Europe 2017, Berlin, 15.-16. Mai 2017
- PDF/A4 als Ziel: keine Konformitätsstufen
- PDF/E erlaubt interaktive Elemente (JS), PDF/E-2 soll eher eine Archivausprägung weniger eine Arbeitsdokumentausprägung bekommen
- XMP kann im PDF an *allen* Stellen angebracht werden, so dass man darin auch Quellen oder zB. UUIDs dafür hinterlegen kann
- PDFA/3 kann auch alternative Verknüpfung zum Inhalt beliebiger Dateien hinterlegen, Problem: nicht verpflichtend und muss über Policy geregelt werden
nestor
Prof. Keitel skizzierte kurz die Arbeit von nestor:
- …ist auf jeden Fall Kooperationsnetzwerk
- stellt AGs vor
Vertrauenswürdige Archive
- * 2004-2008 Nestor Kriterienkatalog
- * 2008-2012 DIN31644
- * 2013-… nestor Siegel
Submission Information Packages - Überarbeitung der Ingest-Standards
Dr. Sina Westphal und Dr. Sebastian Gleixner (Dt. Bundesarchiv) regten in einem Impulsvortrag die Normierung des Ingestvorgangs und der SIPs an.
- Bundesarchiv 4PB/Jahr Zuwachs
- Anreiz zur allmählichen Angleichung der Systeme
- vereinheitlichte Metadaten
- verbesserter Datenaustausch
- vereinheitlichte Schnittstellen
- Vereinheitlichung bestehender SIPs (ggf. auch AIPs/DIPs)
- Vereinheitlichung bestehender digitaler Archivsysteme
Zwei Teilbereiche:
- Standardisierung des SIP (konkret)
- Struktur
- Metadaten
- Primärdaten
- vgl. E-ARK, e-CH, EMEA
- Standardisierung des Ingest-Prozesses (abstrakt)
- Verbindung zum Erschliessungstool
- Validierung
- Ingest
- Umgang mit Primärdaten
Fragen:
- Vereinheitlichung möglich?
- Ist Standardisierung AIPs/DIPs und der damit verbundenen Prozesse notwendig?
Im Anschluss erfolgte eine Diskussion über Abgrenzung und konkrete Austauschverfahren mit ff. Ergebnis:
- Trend geht hin zu abstrakter Modulbeschreibung
- konzeptioneller Rahmen erwünscht
- Festlegung welche Module verpflichtend, welche optional sind
- empfohlener Einstiegspunkt für Automatisierung
Videoarchivierung als neue Herausforderung, Langzeiterhaltung audiovisueller Medien jenseits von Film- und Fernsehen
In diesem Impulsvortrag von Alfred Werner, HUK Coburg wurde die Problematik der Langzeitarchivierung von Videos skizziert.
- Bandbreite Außenstelle 5-15MBit/s
- wandeln in Multipage-TIFF monochrom (kleine Dateien) und in JPG um,
- Videos erwünscht,
- 2011 5 Videos/Tag
- 2016 20 Videos/Tag (im Gegensatz zu 10.000 Schadensfälle pro Tag)
- 2021 100?/1000? Videos/Tag
- Dashcam-Videos seit diesem Jahr erlaubt
Problem: unterschiedlichste Formate, Tendenz steigend, es wird nicht besser (3D, HDR, 4k, 2 Objektive, Spezialsensoren)
mögliche Lösung: Konvertierung in ein Langzeitarchivformat für Videos
Anforderungen:
- Standard für die nächsten 50 Jahre
- Lizenzfrei
- bestmögliche Qualität
- geringer Speicherplatz
- gute Antwortzeiten auch bei geringer Bandbreite
dann noch Funktionen für Sachbearbeiter, wie:
Zoomen, Sprungmarken setzen, Extrahieren Einzelbilder, Schwärzen, Szenen extrahieren.
In der anschliessenden Diskussion wurde das Problem deutlich, dass man sich im Spannungsfeld zwischen Robustheit und originalgetreuer Wiedergabe einerseits und Ressourcenbedarf (Speicher, Bandbreite, Processingzeit) andererseits befindet.
Anmerkung: Dazu wurde auf der nestor-ML ein ergänzender Beitrag verfasst.
Digital Curation
Auch hier hielt Prof. Keitel ein Impulsreferat. Ich hoffe, ich kann den Inhalt korrekt wiedergeben:
Unterschied Data Curation zu Langzeitarchivierung nach OAIS: wir reden nicht mehr von Einrichtungen/Organisationen, sondern von Techniken. D.h., fehlen der organisatorischen Verantwortung.
OAIS goes Records Managment, dh. wie kann man Anforderungen der digitalen LZA an Produzenten bringen (durch digital curation), AIP liegt quasi beim Produzenten.
Wie harmonieren die von OAIS/PREMIS genannten Erhaltungsfunktionen mit den Rgelungen des Records Managment? Welche Elemente/Gruppen müssen wir aus Erhaltungsgründen unterscheiden?
Keitel: "Wir gingen bisher immer von einem Kümmerer aus, der Dinge auf Dauer bewahrt. Digital Curation setzt vorher beim Producer an"
Zusammenfassung
Aus unserer Sicht sollte der Ingest versucht werden besser zu standardisieren. Nur so wäre es möglich, dass man Produzenten Werkzeuge in die Hand geben kann, die nicht archivspezifisch sind. Der Weg dorthin ist steil, zumal allein schon die Wege die Archive und Bibliotheken einschlagen sehr unterschiedlich sind.
PDF ist und bleibt leider ein Minenfeld. Weder wurden mit PDF2 bestehende Ambiguitäten ausgeräumt, noch vereinfacht sich der Standard. Besonders nachteilich dürfte sich die fehlende offizielle Validierung erweisen. Hinzukommt dass der Formatzoo rund um PDF weiter anwächst und Mischformen von Dokumenten möglich sind, d.h. ein PDF kann sowohl PDF/E als auch PDF/A sein.
Der Bedarf nach langzeittauglichen Videoformaten ist vorhanden. Eine Normierung könnte helfen, die Unterstützung durch Hersteller zu forcieren. Am Thema Video wurde deutlich, dass die digitale Langzeitarchivierung Kosten verursacht, die nicht leicht zu vermitteln sind. Datenkompression, insbesondere die verlustbehaftete führt zu einem höheren Schadensrisiko bei Bitfehlern. Die Diskussion über das Spannungsfeld Robustheit/Qualität vs. Kosten muss in der Community geführt werden, ist aber außerhalb von Normungsbemühungen anzusiedeln.
Data Curation ist eine Aktie für sich. Es gibt Lücken, die entstehen, wenn Dokumente Lebenszyklen von mehreren Jahrzehnten aufweisen. Mein Bauchgefühl sagt mir, dass dies ebenfalls unter Langzeitverfügbarkeit subsummiert werden kann, da wir in der Langzeitarchivierung ja die Dokumente auf unbestimmte Zeiten nutzbar halten wollen. Data Curation scheint mir demnach nichts anderes als der Sonderfall zu sein, als das Produzent und Archiv als Rolle zusammenfallen.
Mittwoch, 25. Juni 2014
Freitag, 20. Juni 2014
*grrrr* – Oder wie man mit LaTeX vielleicht ein PDF/A erzeugt
Vorwort
Dieser Beitrag ist entstanden, als ich versucht habe herauszufinden, wie ein Doktorand seine mit LaTeX erstellte Masterarbeit möglichst von Hause aus als PDF/A abliefern könnte.
Damit das nicht zum Rant ausartet, habe ich die einzelnen Punkte sachlich zusammengefasst. Wer mag kann sich ff. Szene dazu vorstellen (links).
Nach aktuellem Stand läßt sich mit LaTeX wenn überhaupt, nur valides PDF/A-1b erstellen.
Nein? Doch! Orrr.
Meine Recherchen zu PDF/A-2b haben keine Resultate erbracht. Eigene Anpassungen an den LaTeX-Paketen hyperref und ggf. hyperxmp bzw. pdfx wären dazu notwendig. Wer hier Infos hat, immer her damit. Auch sonst sind Eure Kommentare gerne gesehen.
Schriftarten
PDF/A erwartet, daß alle Schriftarten eingebettet sind. Dies gilt auch für die Schriftarten, die zB. in Diagrammen oder Bildern vorkommen, die unter LaTeX mit \includegraphics{} eingebettet werden.
Mit dem Befehl pdffonts (Teil von Ghostscript) kann man sich ausgeben lassen, welche Schriftarten im PDF verwendet werden und ob diese eingebettet sind (Spalte emb). LaTeX selbst ist in den meisten Distributionen so konfiguriert, daß das Tool pdflatex Schriftarten in das Dokument einbettet.
Dies sollte man aber trotzdem für alle einzubettenden PDFs (Diagramme etc.) prüfen, da LaTeX diese quasi nur ins zu erzeugende PDF übernimmt.
$> pdffonts test.pdf name type encoding emb sub uni object ID ------------------------------------ ----------------- ---------------- --- --- --- --------- MSQLLN+URWPalladioL-Bold Type 1 Custom yes yes yes 480 0 ZWIRUB+URWPalladioL-Roma Type 1 Custom yes yes yes 481 0 [none] Type 3 Custom yes no no 493 0 BAAAAA+CMUSansSerif TrueType WinAnsi yes yes yes 1669 0 TDAPEI+Arial-BoldMT TrueType MacRoman yes yes no 1738 0 TNUBAM+Menlo-Regular TrueType MacRoman yes yes no 1739 0 CTFEKI+ArialMT CID TrueType Identity-H yes yes no 1740 0 Arial TrueType WinAnsi no no no 3019 0 ABCDEE+Calibri TrueType WinAnsi yes yes no 3020 0
Unter Linux kann man mit ff. Befehl die Fonts auch nachträglich in PDFs einbetten:
|
ttf-mscorefont-installer installieren, die Fonts sind dann unter /usr/share/fonts/truetype/msttcorefonts/ zu finden.Für Postscript bzw. EPS gilt dies analog.
Kurzum, für alle in ein LaTeX Dokument einzubettenden Grafiken im PDF-Format sollten wir sicherstellen, daß die Fonts eingebettet sind.
Transparenz in Grafiken
Da PDF/A-1b auf PDF Version 1.4 aufbaut, sind Transparenzen im PDF nicht gestattet. Wenn man Grafiken einbettet, sollte man sicherstellen, daß diese keinen Alpha-Channel benutzen. Für PNG etc. kann man GIMP oä. nutzen.
Wenn PDFs (zB. Diagramme etc.) als Grafiken genutzt werden kann man über ff. Kommando prüfen, ob diese Transparenzen enthalten:
$> pdfimages -list test.pdf page num type width height color comp bpc enc interp object ID --------------------------------------------------------------------- 14 0 image 1762 232 rgb 3 8 image no 670 0 14 1 smask 1762 232 gray 1 8 image no 670 0 16 2 image 64 94 rgb 3 8 image no 735 0 16 3 smask 64 94 gray 1 8 image no 735 0 16 4 image 64 94 rgb 3 8 image no 736 0 16 5 smask 64 94 gray 1 8 image no 736 0 16 6 image 708 134 rgb 3 8 image no 737 0 16 7 image 529 135 rgb 3 8 image no 738 0 16 8 image 133 18 rgb 3 8 image no 739 0
Dabei erkennt man am Type "image" gefolgt vom Typ "smask" die relevante transparente Stelle. Aus obiger Ausgabe also diese Zeile:
14 0 image 1762 232 rgb 3 8 image no 670 0
14 1 smask 1762 232 gray 1 8 image no 670 0
Mit ghostscript kann man diese PDFs auch umwandeln, das Ergebnis muß aber
kontrolliert werden, weil sich uU. das Aussehen ändern kann:
|
Farbräume
Auch hier sind Vorbereitungen nötig. Da LaTeX einfach nur stumpf die Grafiken in das LaTeX-Dokument einbindet, müssen wir dafür sorgen, daß möglichst alle Grafiken nur einen Farbraum nutzen. Hier kann ebenfalls pdfimages wie oben genutzt werden. Dort ist die Spalte color relevant.
Mit folgenden ghostscript-Aufrufen kann man nachträglich die Farbräume anpassen. Dabei gehen Informationen verloren, so daß man das Ergebnis auf jedenfall durch Sichtkontrolle prüfen sollte.
Für Konvertierung nach sRGB:
$> gs \-o output_rgb.pdf \-sDEVICE=pdfwrite \-dBATCH -dNOPAUSE -dCompatibilityLevel=1.4 \-dColorConversionStrategy=/sRGB\-dProcessColorModel=/DeviceRGB\-dUseCIEColor=true\input_cmyk.pdf
Für PDF/A-1b wäre sRGB zu empfehlen.$> gs \
-o output-cmyk.pdf \-sDEVICE=pdfwrite \-sProcessColorModel=DeviceCMYK \-sColorConversionStrategy=CMYK \-sColorConversionStrategyForImages=CMYK \input_rgb.pdf
Dazu brauchen wir eine Farbprofildatei. Wir können das Farbprofil von Color.org (sRGB) herunterladen und nach sRGBIEC1966-2.1.icm umbenennen.
Damit wären die wichtigsten Vorbereitungen abgeschlossen. Für eingebettete PDFs wäre es sinnvoll, wenn diese keine Kompression nutzen würden.
Das eigentliche LaTeX-Dokument
Zuerst sollte man sicherstellen, daß man eine aktuelle TexLive-Distribution nutzt. Für die Erstellung der PDFs hat man die Wahl zw. Nutzung des Pakets pdfx oder einer Kombination von hyperref und hyperxmp.
Ich habe mich hier für letztere Variante entschieden.
Zuerst müssen wir das Farbprofil in das LaTeX-Dokument einbinden. Dazu reicht folgender Code im Header:
\immediate\pdfobj stream attr{/N3} file{sRGBIEC1966-2.1.icm}
\pdfcatalog{%/OutputIntents [ <</Type /OutputIntent/S/GTS_PDFA1/DestOutputProfile \the\pdflastobj\space0R/OutputConditionIdentifier (sRGB IEC61966-2.1)/Info(sRGB IEC61966-2.1)>> ]
Das Paket hyperref wird mit der Option pdfa geladen, damit in PDF/A nichterlaubte Optionen nicht aus Versehen gesetzt werden. Das hyperxmp Paket sorgt dafür, dass die für PDF/A zwingend notwendigen Metadaten im XMP Format eingebunden werden:
\usepackage[pdfa]{hyperref}\usepackage{hyperxmp}
% Beispiel aus hyperxmp-Beschreibung, der Befehl \hypersetup fügt zusätzlich bibliographische Metadaten in das PDF ein:
\author{Albert Einstein}\hypersetup{%pdftitle={%On a heuristic viewpoint concerning the production and transformation of light},pdfauthor={Albert Einstein},pdfauthortitle={Technical Assistant, Level III},pdfcopyright={Copyright (C) 1905, Albert Einstein},pdfsubject={photoelectric effect},pdfkeywords={energy quanta, Hertz effect, quantum physics},pdflicenseurl={http://creativecommons.org/licenses/by-nc-nd/3.0/},pdfcaptionwriter={Scott Pakin},pdfcontactaddress={Kramgasse 49},pdfcontactcity={Bern},pdfcontactpostcode={3011},pdfcontactcountry={Switzerland},pdfcontactphone={031 312 00 91},pdfcontactemail={aeinstein@ipi.ch},pdfcontacturl={%},pdflang={en},}…
Da PDF/A auf einer eindeutigen Zuordnung Glyphen zu Zeichensatz besteht, müssen dazu noch diese Paket eingebunden werden:
- glyphtounicode.tex maps glyph names to corresponding Unicode.
- glyphtounicode-cmr.tex does the same for cmr fonts
\input glyphtounicode.tex\input glyphtounicode-cmr.tex\pdfgentounicode=1
Nachtrag 2014-06-25: Auf der TeX-Mailingliste kam noch ff. Hinweis:
Da bestimmte Kompression nicht erlaubt ist, ist ff. hilfreich:
\usepackage[noTeX]{mmap}
> Even in XeTeX this requires careful use of fonts and mappings.
mmap.sty is designed for use with pdfTeX, not XeTeX.
> For example, the Times New Roman font has the "fi" ligature in a
> private area and does not have ligature substitution pointing to it,
> which means if you use it you are in trouble and if you don't you
> won't get your ligature.
mmap.sty defines CMap resources for the (old) standard TeX fonts.
More recent fonts do not need what it provides.
If you want to use Times New Roman, then sorry, mmap does nothing for you. But you don't want to use TNR for mathematics, do you?
It isn't designed for that.
Da bestimmte Kompression nicht erlaubt ist, ist ff. hilfreich:
\pdfobjcompresslevel=0
\pdfinclusioncopyfonts=1
Nun sollte pdflatex ein PDF/A1-b Dokument erzeugen.
Nachtrag 2014-06-25: Ebenfalls auf der TeX-Mailingliste war unter Subject "very subtle endobj bug in latest pdftex" folgendes Problem mit pdftex in TeX Live 2014 geschildert:
> It seems that pdftex in TeX Live 2014 is copying
>
>>> \rendobj
>
>
> as
>
>>> endobj
>
>
> ignoring \r.
the problem is in pdftoepdf.cc, line 602:
pdf_puts(">>");
This problem was in the previous versions of pdftex, too. It's not a serious problem, but yes it would prevent pdf/a validation.
However the fix is not simply to change it to
pdf_puts(">>\n");
since it would add some unwanted blank lines. I will take a close look during the week.
Zur Validierung kann man das Online-Werkzeug von 3Heights nutzen: http://www.pdf-tools.com/pdf/validate-pdfa-online.aspx
Abonnieren
Posts (Atom)