Case Study Inkward
Wie eine App Handschrift lesen lernte
Eine Journaling-App aus eigener Entwicklung: die OCR-Pipeline für echte Handschrift, die KI-Architektur dahinter und was Kundenprojekte daraus mitnehmen können
Redaktion: mittl medien · Ansprechpartner: Robert Mittl
Aktualisiert:
Inkward ist eine App aus unserer eigenen Entwicklung: Man schreibt sein Journal von Hand, auf Papier, dem iPad oder einem E-Ink-Gerät wie dem reMarkable, und die App liest die Einträge und spiegelt in zwei, drei Sätzen zurück, was in den eigenen Worten steckt. Kein Coaching, keine Bewertung, keine Streaks. Die Apps für iOS, Android, Apple Watch und Wear OS sind nativ gebaut, alle Details stehen auf inkward.life. Diese Case Study zeigt die technische Umsetzung.
Handschrift ist keine Druckschrift
Handschrift in einem Journal stellt besondere Anforderungen an die Texterkennung (OCR): Die Zeilen sind oft eng und schnell geschrieben, mit Abkürzungen und persönlichen Begriffen. Inkwards Multi-OCR-Pipeline kombiniert Ergebnisse von Google Cloud Vision, Azure, Mistral und Claude. Bei mobilen Foto-Uploads kann zusätzlich die Texterkennung des Telefons einfließen.
Ein weiterer Claude-Aufruf führt die Ergebnisse zusammen: Er bekommt das Seitenbild, die verfügbaren OCR-Texte und ein persönliches Wörterbuch, das aus früheren Einträgen abgeleitet wird. Der Prompt weist das Modell an, nicht lesbare Stellen als unleserlich zu markieren und keine Wörter zu erfinden. So werden die einzelnen Erkennungsergebnisse anhand des Bildes und des Schreibkontexts abgeglichen.
Vor der Erkennung kommt das Rendern
Bei reMarkable-Notizbüchern liegen die Stiftbewegungen als Vektordaten vor: einzelne Striche mit Druckwerten. Für die Texterkennung erzeugt Inkward daraus ein Bild. Die Strichbreite folgt einer Druckkurve, die den Tintenfluss eines Stifts nachbildet. Der Renderer arbeitet mit doppelter Auflösung und glättet die Kanten per Supersampling. Diese Aufbereitung bestimmt, welche Strichdetails die OCR-Dienste erhalten. Bei Fotos von Papierseiten liefert die lokale Texterkennung ein frühes Qualitätssignal: Die App kann vor dem Hochladen warnen, wenn kaum Text erkannt wird.
Das Gerät ist keine Voraussetzung
Inkward nimmt Handschrift über mehrere Wege auf: als Foto einer Papierseite über den Dokumentenscanner des Systems (VisionKit auf iOS, ML Kit auf Android), direkt geschrieben auf dem iPad mit Apple Pencil über eine PencilKit-Schreibfläche, per Cloud-Sync vom reMarkable oder Supernote und per E-Mail an eine persönliche Einwurf-Adresse. Diese Eingänge nutzen anschließend dieselbe Erkennungs- und Analysepipeline. Mobile Foto-Uploads und iPad-Seiten werden vor der Übertragung lokal gespeichert; eine persistente Warteschlange ermöglicht erneute Übertragungsversuche nach App-Neustarts.
Analyse und Spiegel in getrennten KI-Aufrufen
Die Kernidee von Inkward ist ein kurzer Spiegel der eigenen Worte. Nach den OCR-Schritten rekonstruiert ein Claude-Aufruf den Text und extrahiert strukturierte Felder wie Stimmung und Energie. Für den Spiegel ist ein weiterer, separater Aufruf vorgesehen. Er erhält den rekonstruierten Text und die Vorgabe, zwei bis drei kurze Sätze ohne Ratschläge zu schreiben. Durch die Trennung bekommt der Spiegel einen eigenen Prompt; die strukturierte Analyse und die sprachliche Gestaltung lassen sich getrennt steuern. Grundlage des Spiegels ist der Journaleintrag.
Datenschutz im Anwendungscode
Zentrale Journalfelder in der Datenbank, darunter rekonstruierter Text, Spiegeltext und OCR-Rohtexte, werden mit AES-256-GCM verschlüsselt. Die Verschlüsselungsroutine prüft anschließend, ob die vorgesehenen Felder verschlüsselt vorliegen. Für die Diagnose der OCR-Schritte werden beispielsweise Textlängen protokolliert. Gespeicherte Foto-Seitenbilder werden nach 30 Tagen automatisch bereinigt. Bei einer Kontolöschung entfernt eine gemeinsame Löschroutine nach 30 Tagen Karenz unter anderem Journal-Einträge, Spiegel, Berichte und Cloud-Verbindungen.
Die Anwendungsinfrastruktur läuft bei Hetzner in Helsinki. Für Erkennung und Analyse werden Seitenbilder beziehungsweise Texte an externe KI-Dienste übermittelt; dabei können auch Übermittlungen in die USA stattfinden. Die Datenschutzerklärung von Inkward erläutert die beteiligten Anbieter, Verarbeitungsbedingungen und Löschfristen.
Von der App zur Sichtbarkeit
Wie bei allen unseren Projekten endet die Arbeit nicht beim Build: Die Inkward-Website ist in sieben Sprachen aufgebaut, mit Ratgebern wie Journaling anfangen und kostenlosen Vorlagen wie dem Fünf-Jahres-Journal Eine Zeile pro Tag für reMarkable und Supernote, jeweils mit strukturierten Daten und sauberem hreflang-Aufbau. Dieselbe Kombination aus Entwicklung und Vermarktung setzen wir auch für Kundenprojekte um.
Was Sie daraus mitnehmen können
Wenn Ihr Produkt KI einsetzen soll, prägt neben der Modellwahl auch die Pipeline die Qualität: wie die Daten hineinkommen, was bei schlechtem Input passiert und wie Datenschutz im Anwendungscode umgesetzt wird. Genau diese Fragen beantworten wir auch für Kundenprojekte. Wie wir tiefe Betriebssystem-Integration lösen, zeigt unsere zweite Case Study: Callvent, Anrufe werden Kalendereinträge. Nicht jedes Projekt braucht diesen Aufwand: Wenn die Inhalte ohnehin aus Joomla oder WordPress kommen und keine Sensorik oder Systemintegration im Spiel ist, steht die Website als App in den Stores zum Festpreis, ohne eigene Codebasis.