Cuneiform Lab

Samenvatting

Cuneiform Lab is een experimentele mobiele toepassing die de documentatie en voorlopige automatische herkenning van spijkerschrifttekens onderzoekt. De applicatie is ontwikkeld met Flutter voor mobiele apparaten en maakt gebruik van een ONNX-model voor beeldgebaseerde detectie. In de huidige technische configuratie bevat het model 173 klassen. De centrale onderzoeksvraag is niet alleen of een model een teken kan lokaliseren, maar vooral of de modeluitvoer op betrouwbare wijze kan worden verbonden met een filologisch verantwoorde identificatie, transliteratie en betekenis.

Deze publicatie beschrijft de technische opzet, kwantificeert enkele controleerbare eigenschappen van de modelbestanden en formuleert een reproduceerbaar validatiekader. Omdat een onafhankelijk samengestelde en geannoteerde testset en gevalideerde prestatiestatistieken nog ontbreken, worden geen precisie-, recall- of mAP-scores als onderzoeksresultaat gepresenteerd.

1. Van kleitablet naar computationele analyse

Het Mesopotamische spijkerschrift behoort tot de vroegste schrifttradities die in omvangrijke administratieve, juridische, literaire en religieuze corpora zijn overgeleverd. De interpretatie van een teken is echter nooit uitsluitend een kwestie van visuele vormherkenning. Een teken kan door periode, plaats, schrijftraditie, materiaal, schrijfrichting en individuele scribale gewoonten aanzienlijke grafische variatie vertonen. Bovendien kunnen grafisch verwante tekens in verschillende contexten uiteenlopende waarden hebben, terwijl één teken meerdere logografische, syllabische of determinatieve functies kan vervullen.

Automatische beeldherkenning biedt mogelijkheden om grote hoeveelheden documentatie systematischer te ontsluiten. Een computervisionsysteem kan kandidaatregio’s in een afbeelding lokaliseren en die regio’s vergelijken met aangeleerde klassen. De uitkomst moet evenwel worden beschouwd als een hypothese die filologisch en archeologisch moet worden getoetst. De context van het tablet, de grammaticale omgeving en de tekstuele conventies blijven essentieel. Cuneiform Lab is daarom een onderzoeksinstrument en documentatieomgeving, niet een autonome vervanging van de assyrioloog of epigraaf.

2. Technische architectuur en gegevensstroom

De mobiele applicatie is gebouwd met Flutter en is bedoeld voor Android en iOS. De herkenningscomponent maakt gebruik van een ONNX-model. ONNX (Open Neural Network Exchange) biedt een gestandaardiseerde representatie waarmee modellen buiten hun oorspronkelijke trainingsomgeving kunnen worden uitgevoerd. De gebruiker kan een afbeelding aanleveren via de camera of fotogalerij. De herkenningscomponent verwerkt de afbeelding en produceert kandidaatdetecties met bijbehorende scores en begrenzingscoördinaten.

Figuur 1. Schematische gegevensstroom van tabletbeeld naar modeluitvoer en woordenboek. De pijlen geven functionele stappen weer; zij bewijzen niet dat iedere stap al volledig geautomatiseerd of wetenschappelijk gevalideerd is.

De applicatie presenteert de uitvoer in herkenningskaarten. Daarnaast wordt gewerkt aan een woordenboek waarin tekens gekoppeld worden aan Unicode, transliteratie, betekenis en taalkundige toelichting. Favorieten ondersteunen het bewaren en later vergelijken van geselecteerde resultaten.

3. Modelomvang en kwantitatieve kenmerken

In de huidige projectconfiguratie is een oorspronkelijk PyTorch-checkpoint van circa 875 MB genoemd. De geëxporteerde ONNX-versie, aangeduid als detr_173.onnx, heeft een bestandsgrootte van circa 167 MB. De relatieve reductie in bestandsgrootte is:

Figuur 2. Bestandsgrootte van de twee genoemde modelbestanden. Waarden zijn afgerond en uitsluitend bedoeld als technische bestandsvergelijking.

De ONNX-versie vertegenwoordigt daarmee ongeveer 19,1% van de omvang van het genoemde checkpoint. Dit is een vergelijking van opslagomvang, geen benchmark van snelheid, geheugenverbruik, energiegebruik of herkenningskwaliteit. Een kleinere modelrepresentatie hoeft niet automatisch sneller of nauwkeuriger te zijn; daarvoor zijn metingen op de daadwerkelijke doelapparaten nodig.

4. Uitvoertensoren: vorm en interpretatie

Bij inspectie van de modeluitvoer zijn de volgende tensorvormen gerapporteerd: scores met dimensies (6, 1, 300, 173) en boxes met dimensies (6, 1, 300, 4). Vermenigvuldiging van de dimensies levert:

Deze aantallen beschrijven de omvang van de gerapporteerde tensors. Zij mogen niet zonder nadere inspectie van de modelconfiguratie worden geïnterpreteerd als 311.400 afzonderlijke herkenningen of als zes onafhankelijke afbeeldingen. De betekenis van de dimensies moet worden vastgesteld aan de hand van de modelarchitectuur, exportinstellingen en runtime-interface. De 300 posities kunnen bijvoorbeeld betrekking hebben op kandidaatvoorspellingen per uitvoerlaag, maar die interpretatie moet technisch worden bevestigd.

Ook de term confidence score vraagt om voorzichtigheid. Een score uit een neuraal netwerk is niet automatisch een gekalibreerde waarschijnlijkheid. Indien de uitvoer logits bevat, kan een softmax-transformatie worden toegepast:

Hierin is zᵢ de logit voor klasse i. Deze formule is alleen passend wanneer de modeluitvoer daadwerkelijk logits bevat en de gebruikte dimensie overeenkomt met de bedoelde klassendistributie. Zelfs dan zegt een hoge softmax-score niet zonder meer dat de identificatie juist is. Kalibratie vereist een afzonderlijke vergelijking tussen voorspelde zekerheid en empirisch waargenomen correctheid.

5. De 173 modelklassen: het probleem van de tekenidentificatie

Het getal 173 verwijst naar het aantal modelklassen in de huidige export. Het is wetenschappelijk onjuist om daaruit af te leiden dat alle 173 klassen al eenduidig overeenkomen met 173 geïdentificeerde spijkerschrifttekens. Daarvoor is een expliciete mapping nodig waarin ten minste het numerieke klasse-index, de oorspronkelijke model-labelnaam, het bedoelde teken, de Unicode-codepositie en de transliteratie worden vastgelegd.

Tabel 1. Voorgesteld dataschema voor een controleerbare mapping. Dit is geen reeds volledig ingevulde inventaris. Het onderscheid tussen modelklasse en filologisch geïdentificeerd teken moet in de applicatie zichtbaar blijven.

Een onzekere of nog niet gecontroleerde koppeling mag niet als vaststaand woordenboekfeit worden gepresenteerd.

6. Wetenschappelijke validatie: van demonstratie naar meetbaar resultaat

Een overtuigende evaluatie vereist een referentieset met afbeeldingen waarin tekenregio’s en tekenidentiteiten onafhankelijk zijn geannoteerd. De annotatie moet waar mogelijk door deskundigen worden gecontroleerd, met expliciete regels voor beschadigde, overlappende, gedeeltelijk zichtbare en grafisch ambigue tekens. De testset moet bovendien gescheiden blijven van de data waarmee het model is getraind of afgesteld. Anders ontstaat het risico dat de gemeten prestaties te optimistisch zijn.

6.1 Precisie en recall

Precisie geeft aan welk aandeel van de positieve voorspellingen correct is. Recall geeft aan welk aandeel van de relevante referentiegevallen door het systeem wordt teruggevonden:

TP staat voor true positives, FP voor false positives en FN voor false negatives. Een systeem kan een hoge precisie hebben doordat het slechts weinig detecties doet, maar daardoor veel tekens missen. Omgekeerd kan een hoge recall gepaard gaan met veel foutieve kandidaatdetecties. Beide maten moeten daarom gezamenlijk worden gerapporteerd.

6.2 Overlap tussen begrenzingskaders

Bij objectdetectie wordt de ruimtelijke overeenkomst tussen een voorspelde begrenzingsbox en een referentiebox vaak uitgedrukt met Intersection over Union (IoU):

Figuur 3. Schematische illustratie van de overlap tussen een referentiebox en een voorspelde box. De IoU-waarde is de verhouding tussen het overlappende gebied en de gezamenlijke omhullende oppervlakte.

Een detectie wordt bij een gekozen IoU-drempel als ruimtelijk passend beschouwd wanneer de overlap die drempel bereikt. De gekozen drempel moet in de methode worden vermeld; verschillende drempels kunnen tot verschillende prestatiecijfers leiden.

6.3 Gemiddelde precisie en mAP

Average Precision (AP) vat de precisie-recallrelatie voor een klasse samen. Mean Average Precision (mAP) is het gemiddelde van AP over de geëvalueerde klassen, eventueel ook gemiddeld over meerdere IoU-drempels. De exacte definitie moet worden vermeld, bijvoorbeeld mAP bij IoU 0,50 of een gemiddelde over een reeks drempels. Zonder die specificatie is een mAP-getal niet goed vergelijkbaar met andere studies.

6.4 Overeenstemming tussen beoordelaars

Omdat de visuele interpretatie van spijkerschrift soms ambigu is, kan ook de overeenstemming tussen menselijke annotatoren worden onderzocht. Cohen’s kappa corrigeert de geobserveerde overeenstemming voor overeenstemming die op basis van toeval kan worden verwacht:

Hierin is pₒ de geobserveerde overeenstemming en pₑ de verwachte overeenstemming op basis van toeval. Kappa is geen vervanging voor inhoudelijke filologische beoordeling, maar kan helpen om de reproduceerbaarheid van annotaties inzichtelijk te maken.

7. Voorlopige gebruikswaarnemingen en onderzoeksdiscipline

Tijdens praktische tests zijn herkenningskaarten met kandidaatlabels en scores waargenomen. In afzonderlijke voorbeelden zijn onder meer de labels A, MA en NU met hoge weergegeven scores verschenen. Ook zijn voorbeelden van GAL en AN als correct herkend beoordeeld; MU is in meerdere handmatig gecontroleerde voorbeelden als correct beschouwd. Zulke waarnemingen zijn waardevol voor het opsporen van fouten en het verbeteren van de woordenboekkoppeling, maar vormen geen representatieve steekproef.

Een handmatig gecontroleerd voorbeeld bewijst niet dat alle toekomstige voorspellingen van dezelfde klasse correct zijn. Daarom moeten observaties worden opgeslagen als individuele validatiegevallen, met de oorspronkelijke afbeelding, datum, modelversie, voorspelling, score, menselijke beoordeling en eventuele toelichting. Pas wanneer een voldoende grote, onafhankelijke testset is opgebouwd, kunnen algemene prestatiecijfers worden berekend.

8. Mobiele prestaties en reproduceerbaarheid

Naast herkenningskwaliteit moet de praktische werking op mobiele hardware worden onderzocht. Relevante meetvariabelen zijn onder meer laadtijd van het model, verwerkingstijd per afbeelding, piekgeheugengebruik, energieverbruik en stabiliteit bij verschillende afbeeldingsresoluties. Metingen moeten op een vastgelegde apparaatconfiguratie worden uitgevoerd en meerdere keren worden herhaald.

Rapporteer naast het gemiddelde ook de spreiding, bijvoorbeeld standaarddeviatie en mediaan. De mediaan is minder gevoelig voor incidentele uitschieters. Noteer steeds apparaatmodel, besturingssysteem, runtimeversie, modelbestand, invoerresolutie en eventuele voorbewerking. Alleen zo kunnen latere versies op een zinvolle manier worden vergeleken.

9. Grenzen en risico’s van automatische interpretatie

De belangrijkste beperking is op dit moment de onzekerheid over de volledige relatie tussen de 173 modelklassen en de bedoelde tekenidentiteiten. Ook de precieze betekenis van de uitvoertensoren moet aan de hand van de modelconfiguratie worden bevestigd. Verder ontbreken vooralsnog gepubliceerde, reproduceerbare evaluaties op een onafhankelijk geannoteerde testset. Daarom kunnen geen algemene nauwkeurigheidspercentages worden toegekend.

Er zijn daarnaast inhoudelijke uitdagingen. Een teken kan beschadigd of gedeeltelijk afgebroken zijn; de klei kan vervormd zijn; lichtval en camerahoek kunnen de zichtbaarheid beïnvloeden. Een teken kan deel uitmaken van een ligatuur of in een dicht opeengepakte tekstregel staan. Ten slotte is de grafische identiteit niet hetzelfde als de lexicale of grammaticale functie. Het woordenboek moet daarom niet alleen een label tonen, maar waar mogelijk ook context, alternatieve waarden en bronverwijzingen ondersteunen.

10. Conclusie en onderzoeksagenda

Cuneiform Lab vormt een experimentele stap in de richting van digitale ondersteuning bij de documentatie van Mesopotamisch spijkerschrift. De combinatie van een mobiele Flutter-applicatie, een ONNX-model met 173 klassen, herkenningsscores en een groeiend woordenboek maakt het mogelijk om beeldherkenning en filologische gegevens in één werkomgeving te onderzoeken. De huidige technische gegevens laten zien dat de ONNX-export aanzienlijk kleiner is dan het genoemde oorspronkelijke checkpoint, maar zeggen op zichzelf niets over de kwaliteit van de herkenning.

De volgende onderzoeksfase moet beginnen met het reconstrueren en controleren van de 173 klasse-labels. Daarna kan een versiebeheerste woordenboekmapping worden opgebouwd en kan een onafhankelijke testset worden samengesteld. Op basis daarvan kunnen precisie, recall, IoU en mAP worden berekend, met transparante rapportage van onzekerheid en fouttypen. Parallel daaraan moeten mobiele prestaties systematisch worden gemeten.

De wetenschappelijke waarde van Cuneiform Lab zal uiteindelijk niet worden bepaald door een indrukwekkend percentage op het scherm, maar door de herleidbaarheid van iedere voorspelling: welk beeld is onderzocht, welke modelversie is gebruikt, welke klasse werd voorspeld, hoe is die gekoppeld aan een teken, wie heeft de identificatie gecontroleerd en op welke bronnen berust de interpretatie? Juist die controleerbaarheid kan de toepassing tot een bruikbaar hulpmiddel voor onderzoek en documentatie maken.

Bronnen en methodologische referenties

• Carion, N. et al. (2020). End-to-End Object Detection with Transformers. arXiv:2005.12872. arxiv.org/abs/2005.12872
• Hugging Face. DETR documentation. Documentatie
• ONNX. Open Neural Network Exchange: documentation. onnx.ai
• Flutter. Flutter documentation. docs.flutter.dev