Aryn.ai
Aryn ist ein KI-gestütztes Dokumentenparsing- und ETL-System für komplexe, unstrukturierte Daten wie PDFs, HTML, Präsentationen und mehr. Es kann über 30 Dateiformate verarbeiten und Tabellen, Bilder und mehr mit hoher Qualität extrahieren. Sie können Aryn verwenden, um Dokumente zu segmentieren, Metadaten zu extrahieren, Vektor-Embeddings zu erstellen und Ihre Elasticsearch-Vektor- und Schlüsselwort-Indizes mit hochwertigen Daten aufzuladen.
Das Dokumenten-ETL-System von Aryn besteht aus zwei Komponenten:
Aryn DocParse ist ein Dienst zur Segmentierung und Beschriftung von Dokumenten, zur Durchführung optischer Zeichenerkennung (OCR) sowie zur Extraktion von Tabellen und Bildern. Es kann strukturierte Ausgaben jedes Dokuments in JSON oder Markdown zurückgeben und bietet beschriftete, gerahmte Felder für Titel, Tabellen, Tabellenzeilen sowie Spalten, Bilder und regulären Text. DocParse kann über 30 Arten von Dokumentformaten verarbeiten, darunter PDFs, Microsoft Word, Microsoft PowerPoint, Text und mehr. Es nutzt den Aryn Partitioner und sein hochmodernes, Open-Source Deep-Learning-KI-Modell, das auf mehr als 80.000 Unternehmensdokumenten trainiert wurde. DocParse kann in Dokument-ETL-Pipelines für GenAI-Apps verwendet werden oder einfach für Tabellenextraktion und Workflows zur Dokumentenverarbeitung (wie in diesem Video).
Aryn DocPrep ist ein Werkzeug zur Erstellung von Dokumenten-ETL-Pipelines zur Verarbeitung komplexer, unstrukturierter Daten und deren Laden in Vektordatenbanken und hybride Suchmaschinen wie Elasticsearch. Die Pipelines verwenden DocParse für die Dokumentpartitionierung und generieren ETL-Pipeline-Code in Python mithilfe der skalierbaren Open-Source-Sycamore-Dokumenten-ETL-Bibliothek. DocPrep und Sycamore bieten skalierbares und zuverlässiges Laden von Elasticsearch-Indizes und umfassen eine Vielzahl leistungsstarker Datentransformationen, die LLMs nutzen, darunter Entitätsextraktion, Datenbereinigung, semantische Operationen, Generierung von Vektoreinbettungen und Datenanreicherung.