Sieh, wie ein Modell dein Dokument in Stücke schneidet
Willst du einen Bot, der Fragen auf Basis deiner Dateien beantwortet (Handbücher, FAQs, AGB, ein Buch)? Das Modell liest das ganze Dokument nicht auf einmal. Zuerst musst du es in Stücke schneiden (Chunks genannt), und das Modell durchsucht diese Stücke einzeln.
Dieses Tool zeigt dir mit eigenen Augen, wie diese Aufteilung aussieht. Paste einen Text, wähl eine Schneideart und sieh farbige Stücke. Jedes in einer anderen Farbe, jedes mit einer Token-Zahl (ein *"Token"* ist grob ein Wort-Stück, zum Messen der Länge).
Fünf Schneidearten: smart (versucht, Absätze oder Sätze nicht zu brechen, der beste Standard), nach Absatz, nach Satz, in gleiche Stücke von N Token, in gleiche Stücke von N Zeichen. Jede liefert ein anderes Ergebnis, hier siehst du, welche zu deinem Text passt.
So nutzt du den Visualizer
- Paste einen langen Text ins Feld. Einen Artikel, AGB, ein Buchkapitel, Meeting-Notizen, alles.
- Wähl eine Schneideart. Wenn du nicht weißt, welche, lass "smart" (ein solider Standard für die meisten Texte).
- Mit dem Regler stell die Stücklänge in Token ein. Ein sinnvoller Bereich ist 150-300, ein Stück fasst etwa einen Gedanken.
- Mit dem "Wiederholung an der Grenze"-Regler stell ein, wie viele Sätze sich zwischen benachbarten Stücken überlappen sollen. Hilft, wenn ein wichtiger Satz genau auf der Schnittlinie liegt. Typisch 10-20 % der Stücklänge.
- Wähl ein Modell (GPT, Claude, Gemini). Jedes zählt Token anders, die Zahlen unterscheiden sich.
- Darunter siehst du farbige Stücke. Jedes in einer anderen Farbe, mit einer Token-Zahl und Position im Text.
- Das Stats-Panel zeigt: wie viele Stücke, kürzestes / durchschnittliches / längstes, Gesamt-Token und wie viele zusätzliche Token die Grenz-Wiederholung hinzugefügt hat.
Wann das nützlich ist
Sechs typische Situationen, in denen diese Visualisierung eine konkrete Antwort statt einer Schätzung liefert:
- Einen Bot für Firmendokumente bauen. Du hast 200 PDF-Handbücher. Paste ein Sample-Doc, klick durch drei Schneidearten, sieh, welche die Bedeutung am besten erhält. Entscheidung in 5 Minuten statt einer Stunde Doku lesen.
- Der Bot findet die Antwort nicht, obwohl sie IM Dokument ist. Ein sehr verbreitetes Problem. Paste das Doc, von dem du weißt, dass die Antwort drin ist. Prüf, ob dieser Teil in einer Farbe ist (ganz, zusammenhängend) oder ob er in zwei Stücke zerteilt wurde. Wenn zerteilt, erhöh die Stücklänge oder schalt die Grenz-Wiederholung an.
- **Einem Teammitglied erklären, *"was Chunking ist"***. Paste irgendetwas, zeig auf dem Bildschirm. Fünf Minuten visuelle Erklärung schlagen eine Stunde trockene Theorie.
- Kosten abschätzen. Ein Bot, der deine Dokumente kennt, berechnet pro Token. Hier siehst du genau, wie viele Token dein Text nach dem Schneiden wird (mit oder ohne Überlappung). Multiplizier mit dem Service-Tarif und du hast eine konkrete Zahl.
- Zwischen GPT, Claude und Gemini wählen. Jedes hat ein anderes Limit, wie viel in eine Anfrage passt. Hier prüfst du, wie viele deiner Stücke in eine Anfrage in jedem passen. Geminis großes Fenster fasst vielleicht 30 Stücke, GPT vielleicht 5-10.
- Verschiedene Stücklängen testen (150 vs. 300 vs. 500 Token). Kleine Stücke = der Bot sieht weniger Kontext und macht öfter Fehler. Große Stücke = jedes ertrinkt in Irrelevantem. Die Visualisierung zeigt, wo der Sweet Spot für deine Daten liegt.