Звірка: чи джерело каже саме те, що написано

Перевірити, чи джерело назване, і перевірити, чи воно каже те, що ви написали, це дві різні роботи. Перша дешева й робиться машиною. Друга дорога, і доки її не робили жодного разу, про текст не відомо нічого.

Порядок величин, щоб було з чим порівнювати. На одному сайті з 1993 тверджень із виносками машинно звірити можна було 1088, тобто 55%; решта 45% спиралися на архівний опис, газету за передплатою або сайт, тобто на те, чого перевірник відкрити не може. З перевірених точність вийшла 91% (20 підтверджено, 2 розходження, 9 несудимих). Для порівняння, у промислових систем із пошуковою основою точність цитування близько 90%, у лідера галузі 90,24%. Тобто кожна десята виноска бита навіть у найкращих, і питання не в тому, чи є помилки, а в тому, чи ви їх бачите.

Три умови, без яких звірка не звірка

Перевіряє не той, хто писав. Автор захищає власний текст, навіть коли щиро намагається цього не робити. Перевірник дістає сторінку й джерела, не дістає ходу думки автора й не бачить, як текст складався.

Чистий контекст. Перевірник не має бачити ні розвідки, ні чернеток, ні сусідніх сторінок. Ідеально - тільки твердження і витяг із джерела, більше нічого: ні назви села, ні номера сторінки, ні того, що ви взагалі шукали. Усе зайве в контексті працює як підказка, і перевірник починає підтверджувати очікуване.

Спершу машина, тоді модель. Що вже доведено скриптом (виноска є, посилання не бите, число збігається з таблицею), удруге не перевіряють. Що машина назвала підозрілим, перевіряють першим. Модель дорога, і витрачати її на те, що ловить grep, безглуздо.

Порядок

Механіка взята з Claimify (Microsoft Research, ACL 2025) - системи, яка витягає з довгого тексту атомарні твердження. Чотири стадії, і третя найважливіша.

1. Розбиття. Текст на речення разом із контекстом: сусідні речення, ієрархія заголовків.
2. Відбір. Речення без перевірюваного змісту йде геть. Змішане переписується так, щоб лишилося перевірюване.
3. Розтлумачення. Якщо речення читається двома способами і контекст цього не знімає, воно позначається «не розтлумачити» і далі не йде. Не вгадуйте одне з двох прочитань. Це єдина стадія, яку зазвичай пропускають, і саме вона відрізняє звірку від вгадування: система свідомо відмовляється судити те, що двозначне.
4. Декомпозиція. Самодостатні твердження зі збереженим контекстом. «Село згадане 1611 року» це твердження; «воно старе» - ні.

Далі кожне твердження прив'язується до конкретного доказу: файл, сторінка, рядок реєстру. Твердження, яке нікуди не лягло, це блокер, а не дрібниця: або факт узятий повз розвідку, або в реєстрі доказів дірка.

Для кожного твердження питань чотири:

• чи є воно в джерелі за виноскою;
• чи джерело каже саме це, а не щось поруч;
• чи виноска стоїть після потрібного твердження, а не після сусіднього;
• чи не додано правдоподібного, чого в джерелі немає.

Пʼять вердиктів

Вердикт	Коли
підтверджено	джерело каже саме це
джерело каже інше	розходження в змісті, числі, даті, імені
у джерелі цього немає	твердження не спирається ні на що
не розтлумачити	речення двозначне, судити не можна, іде людині
сказано менше, ніж дозволяє джерело	окремим списком

Останній вердикт зазвичай забувають, а він потрібен. Документальну опору один раз уже назвали легендою, і зовні це виглядало як сумлінність: «переказують, що…» там, де в томі стоїть документ. Обережність, яка применшує власне джерело, теж є помилкою - просто вона не бʼється в очі.

Два незалежні перевірники, кожен із чистим контекстом

Один перевірник дає нуль блокерів і виглядає переконливо. На трьох сторінках поспіль слабша модель дала нуль там, де сильніша знайшла вісім і вісім.

Але й два сильні перевірники не дублюють одне одного. Виміряно на пʼяти вже опублікованих сторінках сіл: на чотирьох, де це порахували, зі 100 різних блокерів 67 знайшов лише один із двох. Один прохід замість двох пропустив би більшість, і ця більшість не дрібниця: серед неї було 369 дворів замість 569 і рід, що взяв назву від містечка, переказаний навпаки.

Тому:

• два проходи на кожну сторінку, незалежно: кожен із чистим контекстом, жоден не бачить звіту іншого, чернеток і розвідки;
• за замовчуванням обидва на сильній моделі; слабшу можна поставити лише другою, ніколи обома;
• кожен звіт у своєму файлі, і порівнюються не висновки, а списки. Те, що знайшов лише один, не шум, а головний улов: воно йде в правки так само, як спільне, а спірне дивиться людина.

Це дорожче за один прохід рівно вдвічі й ловить те, чого не ловить ніщо інше.

Другий перевірник краще звужений, ніж такий самий

Дві однакові перевірки однієї сторінки збігаються лише в невеликій частині знахідок, і третя така сама додає одну-дві нові. Замість другої загальної краще дати три звужені, кожна з яких зобовʼязана пройти кожне місце свого класу: висновки (причини, звʼязки, «отже», «єдиний», тлумачення документа), мовчання («джерело не каже» і «сказано менше, ніж у джерелі»), службові поля (примітки до джерел, короткі цитати біля посилань, списки відкритих питань). На двох сторінках вони знайшли 16-19 нових помилок проти однієї-двох у третьої загальної. Тексти трьох інструкцій і числа - materials/doslidzhennia/2026-09-27-vymiry.md.

Нуль блокерів доводиться дорожче за десять

«Усе перевірив, помилок немає» це найдешевша відповідь, яку може дати модель, і найчастіше вона означає, що нічого не відкривали.

Тому звіт без блокерів приймається тільки з переліком: який файл і яку сторінку перевірник справді відкрив для кожного твердження. Шлях, «кн. с. 73», «арк. 12». Менше ніж дві такі адреси - звіт не зараховується, і сторінка йде на звірку наново.

Твердження про мовчання джерела перевіряється як позитивне

«Нариси про це не кажуть», «імен не лишилося», «краєзнавець спростував сам себе». Такі речення проходять повз звірку, бо перевіряти нібито нічого.

Це найдорожчий клас помилок. Дві найгірші, які траплялися, були саме такі: у томі стояли два рядки таблиці з іменами, а на сторінці було написано, що імен не збереглося. Відкрий джерело й подивись - так само, як для позитивного твердження.

Окремо: заперечення про ціле видання фрагментом не доводиться взагалі. «Цієї назви у виданні немає» вимагає повного тексту, а не сторінки. Такі твердження або перевіряються суцільним проходом по тому, або не перевіряються; вердикт «не зміг перевірити» тут чесна відповідь, а не поразка.

І ще одне: мовчання розпізнаного тексту не доведене, доки не подивились на скан. Текстовий шар таблиць перемішує колонки, і рік, який стоїть у хроніці, у звичайному розпізнаванні не видно. У прозі те саме робить згин сторінки: розпізнавання зʼїло лівий край девʼяти рядків нарису разом з обома датами, і сторінка написала, що дат у джерелі немає. Тому «джерело не каже» чи «не читається» при розсипаному тексті звіряється зі сканом тієї самої сторінки; не звірили - це блокер «не перевірено», а не «підтверджено».

Мова теж перевіряється

Дві речі, яких фактична звірка не бачить, якщо їх не шукати навмисно.

Межа знання пишеться про документ, а не про того, хто шукав. «Лишилася непрочитаною», «на руках немає», «не переглянуто поаркушно», «ми не бачили» - це стан вашого читання, і читачеві він нічого не каже. Те саме про документ: «справу не оцифровано», «у 80 актах зі 110 графа причини порожня», «що пише про це книжка Довгича, поки не встановлено». Знання при цьому не викидається: що джерело ще не розібране, читач знати має, бо саме це каже йому, де ще не копано.

Сторінка про село не вчить шукати. Перебрані написання, лічильники збігів, «пошук дав нуль», контрольна перевірка на сусідньому селі, порада наступному дослідникові - це розповідь про пошук, навіть коли жодного службового слова в ній немає. Пастку джерела на сторінці показують прикладом у розповіді про документ («назви немає в томі в жодному з восьми написань»), а методика живе окремо.

Обидва випадки перевірник записує блокером із готовим формулюванням, як будь-яку іншу правку.

«Зняти» - останній вибір, не перший

Звірка легко робить текст сухішим: речення без опори простіше зняти, ніж підперти. На одній хвилі звірки вже опублікованого чотири села втратили річку, сюжет про нагороджених жінок і абзац про одну людину там, де вистачало однієї картки джерела.

Порядок дій для твердження, яке не лягло на джерело:

1. Звузити до того, що джерело каже.
2. Атрибутувати: «за спогадом N», «за переказом у книжці X».
3. Джерело існує, а в бібліографії його немає - дія «потрібна картка: <джерело, адреса>», а не «зняти».
4. Зняти лише доведено хибне або таке, для чого джерела немає ніде.

Жива деталь (річка, прізвища на плиті, спогад, питання до мешканців) без доведеної хиби не знімається.

Що перевірник віддає

Есе про хід перевірки читати ніхто не буде. Виміряно дорого: виконавці правок ковтали звіти на 30 КБ із кожним викликом, і десять заходів коштували 1,8 мільйона токенів.

Тому звіт кінчається таблицею правок, до 3 КБ, і це єдине, що читає той, хто правитиме:

| № | де (рядок або перші слова) | було | стало / дія | опора |
|---|---|---|---|---|
| Б1 | «Спалили церкву» | спалили | зруйнували | pokhylevych-1864, с. 73 |
| Б2 | абзац «У книзі смертей…» | дорослих троє | зняти число; таблиця дає 6 | dako-r5634-1-621 |
| Б5 | виноска під Карцевою | [[pamiatky]] | зняти або перенести на речення про памʼятник | - |

Дія мусить бути виконуваною без джерел: зняти, замінити на X, перенести виноску, позначити як неперевірене. Що вимагає переписати сюжет, так і пишеться: «потрібен автор: …». Тоді правку робить дешевий виконавець, який джерел не відкриває взагалі.

Нове речення в колонці «стало» несе виноску й сторінку і каже не більше, ніж джерело: виконавець перенесе його дослівно. На одному аудиті шість нових помилок на опублікованих сторінках прийшли саме з тексту, який запропонувала звірка: завод «перейшов» у рік, коли змінився лише власник; «книга 1841 року», де записів села немає. Коли варіантів два, у таблицю йде вужчий.

У клітинці «стало» лише готовий текст сторінки: без «замінити на:», без лапок навколо, без приміток редакторові. Пояснення йде в «опору». Коли два рецензенти мішали текст із вказівками, виконавець не зміг внести жодного рядка, і таблиці довелося зводити руками.

Правка вже опублікованого

Сторінка, яку читач уже бачив, правиться за тими самими вердиктами, але з трьома додатками.

Після правок обидва проходи повторюються по дифу, тобто лише по змінених місцях, проти редакції, яку бачив читач. Кожне коло закінчується вашим шаблоном вердикту, і коло повторюється, доки обидва не чисті на теперішню редакцію. Це не формальність: на тих пʼяти сторінках кожна після першого кола правок дала ще від 2 до 7 нових блокерів (правка сказала більше за джерело, загубила факт, витягла давню суперечність).

Змінився факт - читач дізнається, що змінилося. Одне коротке речення для людини, яка не знає ваших процесів: що нового вона дізнається про село, до 300 знаків. «У Макарові 1900 року було 569 дворів, а не 369.» Без внутрішніх слів («виноска», «атрибуція», «звірка», «реєстр»), без «та ще N дрібніших уточнень», без однакового зачину на кожній сторінці. Зняте твердження кажеться разом із тим, що правда. Це речення теж звіряють проходи по дифу.

Старі рядки історії змін не переписуються. Новий дописується поруч; хто читав сторінку раніше, має бачити, що саме тоді було не так. Сам текст сторінки після правки себе не пояснює: ні «раніше тут стояло», ні «ми пропустили»; він читається так, ніби так було завжди, а історія живе в рядку змін.

Куди далі

• Як дістати з джерела потрібне місце, а не те, що підтверджує саме себе - references/vytiah.md. Це вузьке місце всієї звірки, і воно не там, де здається.
• Як поміряти якість власного тексту числом і чого очікувати - references/audyt.md.