{
  "schemaVersion": 2,
  "hash": "dfbf6cb8ce515b14e06daaad3c351e91e7bb0dde0f259014186c62297c10bd20",
  "purpose": "html-region",
  "page": "/en/anti-jazyk/",
  "sourceLang": "CS",
  "targetLang": "EN-US",
  "glossaryRevision": "add1dfc20d8352f2a4e504e328cbb510e423fc74147c44fd605dcd453720e196",
  "glossaryId": "08f85824-1a74-45c3-94c8-6d5965be47b9",
  "deepl": {
    "tagHandling": "html",
    "tagHandlingVersion": "v2",
    "splitSentences": "nonewlines",
    "preserveFormatting": true
  },
  "selectorPolicyRevision": 2,
  "manual": false,
  "locked": false,
  "edited": false,
  "editedAt": null,
  "editedBy": null,
  "sourceFragment": " <div class=\"post-header\">  <h1 class=\"post-title\">Anti-jazyk</h1> <p class=\"post-meta\"> December 2025 </p> </div> <div class=\"post-body\"> <p>Běžné jazykové modely vybírají další token tak, že zvolí jeden z nejpravděpodobnějších návrhů, které se podle jejich statistického odhadu nejlépe hodí do kontextu. Tomu budeme říkat standardní sampling.<br>\nTento projekt dělá pravý opak.<br>\nMísto výběru nejpravděpodobnějších tokenů model nutíme sahat k těm nejméně pravděpodobným, tedy k těm, které by v běžném režimu téměř nikdy nepoužil.<br>\nVýsledkem je anti-jazyk – text tvořený z okrajových, penalizovaných a často odlehlých částí slovní zásoby modelu.<br>\nVznikají tak struktury, které nejsou čistě náhodné symboly, ale ani koherentní věty.</p>\n<p><strong>Jak to funguje</strong><br>\nModel dostane krátký vstup (např. „This is “).<br>\nVygeneruje pravděpodobnostní rozdělení všech možných dalších tokenů.<br>\nMísto výběru z horní části distribuce (nejpravděpodobnější tokeny) se celý mechanismus otočí a vybírá se z jejího dna (nejméně pravděpodobné tokeny).<br>\nTím se odkryjí „spodní vrstvy“ modelu: vzácné výrazy, jazykové fragmenty a jiné artefakty, které model normálně potlačuje.</p>\n<p><strong>Kód</strong><br>\nKód je možné spustit v Google Colabu:<br>\n<a href=\"https://colab.research.google.com/drive/18y4hUsNv-aEZHtXVp67ygHGGpMBkByxD?usp=sharing\">https://colab.research.google.com/drive/18y4hUsNv-aEZHtXVp67ygHGGpMBkByxD?usp=sharing</a></p>\n<p>Colab zde slouží hlavně jako běhové prostředí. Není to primární archivní kopie kódu.<br>\nProto je stejný postup uložený i níže přímo v článku.</p>\n<p>Kód je rozdělený do tří samostatných bloků stejně jako v notebooku. První načte model, druhý generuje text a třetí uloží poslední výstup.</p>\n<p><strong>1. Načtení modelu a tokenizeru</strong><br>\nTento blok stačí spustit jednou. Načte model GPT-2 a tokenizer.</p>\n<span data-i18n-protected=\"p0\" translate=\"no\" class=\"notranslate\"></span>\n<p><strong>2. Generování anti-jazyka</strong><br>\nV tomto bloku lze měnit vstupní text, počet nových tokenů a hodnotu <strong>bottom_k</strong>.<br>\nČím menší je <strong>bottom_k</strong>, tím tvrději je model tlačený na úplné dno pravděpodobnostního rozdělení.</p>\n<span data-i18n-protected=\"p2\" translate=\"no\" class=\"notranslate\"></span>\n<p><strong>3. Uložení posledního výstupu</strong><br>\nTento blok uloží poslední vygenerovaný text do souboru <strong>output.txt</strong>.</p>\n<span data-i18n-protected=\"p4\" translate=\"no\" class=\"notranslate\"></span>\n<p>Modelové váhy GPT-2 nejsou součástí webu. Při spuštění se stahují z externího zdroje.<br>\nTady je uložený hlavně postup: malý návod, jak model donutit, aby místo běžného jazyka vytahoval statistický odpad.</p>\n<p><strong>Ukázka výstupu</strong><br>\nZde jsem použil model GPT-2 a nechal ho doplnit text „This is “:</p>\n<span data-i18n-protected=\"p6\" translate=\"no\" class=\"notranslate\"></span>\n<p><strong>Analýza ukázky výstupu</strong><br>\nAnti-jazyk není náhodný šum. Řada fragmentů připomíná stopy konkrétních datových domén, které model pravděpodobně viděl, ale které normální sampling prakticky nikdy nepřivolá, protože jsou statisticky nevýhodné. Anti-jazyk je naopak zvýhodní.<br>\nNěkteré části textu, které model generuje, vypadají jako artefakty z trénovacího datasetu. Někdy lze spatřit náznaky <strong>data scrapingu různých e-shopů</strong> („BuyableInstoreAndOnline“, „SpecialOrderable“, „ItemThumbnailImage“), <strong>potenciálně citlivá nebo sociálně nabitá témata</strong> („sexual“, „Muslims“, „Hispanic“), <strong>vědecké termíny nebo jejich části</strong> („isomer“, „antidepress“, „[m]icrobial“, „[p]uncture“, „intolerance“), <strong>kulturní odkazy</strong> („Monroe“, „Phelps“, „Rockefeller“, „Nitrome“), <strong>nábožensko-mytické nebo fantasijní artefakty</strong> („Archdemon“, „devils“), <strong>místa</strong> („Moroc“, „Afric“), <strong>části uživatelského rozhraní webů</strong> („cloneembedreportprint“, „IMAGES“) atd.<br>\nJe potřeba dodat omezení této analýzy: mozek má tendenci vyzobávat známé vzory (značky, jména, pojmy) a zbytek ignorovat. Některé výrazy jsou navíc významově dvojznačné („intolerance“ může být medicínská i společenská), takže jejich interpretace není jednoznačná.</p> </div> ",
  "translatedFragment": " <div class=\"post-header\">  <h1 class=\"post-title\">Anti-Language</h1> <p class=\"post-meta\"> December 2025 </p> </div> <div class=\"post-body\"> <p>\nConventional language models select the next token by choosing one of the most probable suggestions that, according to their statistical estimate, best fits the context. We’ll call this standard sampling.<br>\nThis project does the exact opposite.<br>\nInstead of selecting the most likely tokens, we force the model to choose the least likely ones—that is, those it would almost never use under normal conditions.<br>\nThe result is an “anti-language”—text composed of marginal, penalized, and often obscure parts of the model’s vocabulary.<br>\nThis creates structures that are neither purely random symbols nor coherent sentences.</p>\n<p><strong>How it works</strong><br>\nThe model receives a short input (e.g., “This is ”).<br>\nIt generates a probability distribution of all possible subsequent tokens.<br>\nInstead of selecting from the top of the distribution (the most likely tokens), the entire mechanism is flipped, and selections are made from the bottom (the least likely tokens).<br>\nThis reveals the “lower layers” of the model: rare expressions, linguistic fragments, and other artifacts that the model normally suppresses.</p>\n<p><strong>Code</strong><br>\nThe code can be run in Google Colab:<br>\n\n<a href=\"https://colab.research.google.com/drive/18y4hUsNv-aEZHtXVp67ygHGGpMBkByxD?usp=sharing\">https://colab.research.google.com/drive/18y4hUsNv-aEZHtXVp67ygHGGpMBkByxD?usp=sharing</a></p>\n<p>\nColab serves primarily as a runtime environment here. It is not the primary archived copy of the code.<br>\nTherefore, the same procedure is also saved below directly in the article.</p>\n<p>The code is divided into three separate blocks, just as in the notebook. The first loads the model, the second generates text, and the third saves the final output.</p>\n<p><strong>1. Loading the Model and Tokenizer</strong><br>\nThis block only needs to be run once. It loads the GPT-2 model and the tokenizer.</p>\n<span data-i18n-protected=\"p0\" translate=\"no\" class=\"notranslate\"></span>\n<p><strong>2. Generating anti-language</strong><br>\nIn this block, you can change the input text, the number of new tokens, and the value <strong>of `bottom_k`</strong>.<br>\nThe smaller the value of <strong>`bottom_k`</strong>, the harder the model is pushed to the very bottom of the probability distribution.</p>\n<span data-i18n-protected=\"p2\" translate=\"no\" class=\"notranslate\"></span>\n<p><strong>3. Saving the Last Output</strong><br>\nThis block saves the last generated text to the file <strong>output.txt</strong>.</p>\n<span data-i18n-protected=\"p4\" translate=\"no\" class=\"notranslate\"></span>\n<p>\nThe GPT-2 model weights are not part of the website. They are downloaded from an external source when the program runs.<br>\nThis is mainly a procedure: a brief guide on how to force the model to generate statistical garbage instead of normal language.</p>\n<p><strong>Sample Output</strong><br>\nHere, I used the GPT-2 model and had it complete the text “This is ”:</p>\n<span data-i18n-protected=\"p6\" translate=\"no\" class=\"notranslate\"></span>\n<p><strong>Analysis of the sample output</strong><br>\nAnti-language is not random noise. Many fragments resemble traces of specific data domains that the model has likely seen, but which normal sampling would practically never produce because they are statistically unfavorable. Anti-language, on the other hand, favors them.<br>\n\nSome parts of the text generated by the model look like artifacts from the training dataset. Sometimes, one can see hints <strong>of data scraping from various e-shops</strong>\n(“BuyableInstoreAndOnline,” “SpecialOrderable,” “ItemThumbnailImage”), <strong>potentially sensitive or socially charged topics</strong>\n(“sexual,” “Muslims,” “Hispanic”), <strong>scientific terms or parts thereof</strong>\n(“isomer,” “antidepress,” “[m]icrobial,” “[p]uncture,” “intolerance”), <strong>cultural references</strong>\n(“Monroe,” “Phelps,” “Rockefeller,” “Nitrome”), <strong>religious, mythological, or fantasy artifacts</strong>\n(“Archdemon,” “devils”), <strong>places</strong>\n(“Moroc,” “Afric”), <strong>parts of website user interfaces</strong>\n(“cloneembedreportprint,” “IMAGES”), etc.<br>\nIt is important to note the limitations of this analysis: the brain tends to pick out familiar patterns (brands, names, concepts) and ignore the rest. Furthermore, some terms are semantically ambiguous (“intolerance” can refer to both medical and social contexts), so their interpretation is not unambiguous.</p> </div> ",
  "createdAt": "2026-07-11T10:53:56.426Z"
}
