Фактчекінг, який показує свою роботу
Кожен наш вердикт приходить разом із доказами, які його породили: які джерела знайдено, коли кожне опубліковане, з якої воно країни, підтверджує чи спростовує твердження і з якою вагою. Перевірено 2 420 твердження, і кожен ланцюг доказів під ними — публічний. Саму лише мітку здатен видати будь-хто.
Що відбувається з твердженням, перш ніж воно отримає вердикт
Шість кроків, і кожен закриває один зі способів, у які пошук за ключовими словами видає впевнену хибну відповідь.
Спершу розбирає твердження на частини
Твердження рідко хибне цілком. Воно ламається в одному місці: правильна подія з хибною датою, справжня цитата не тієї людини, реальна тенденція з вигаданим числом. Тому кожне твердження розкладається на атомарні складові за типом: хто, що, коли, де, числа й цитати. Кожну оцінюють окремо, і складене твердження з однією хибною частиною не сховається за єдиним схвальним вердиктом.
Шукає мовою самої історії
Твердження про рішення, ухвалене в Парижі, вирішується французькими джерелами, а не українськими виданнями, які переказують французький звіт. Пошукові запити генеруються під кожне твердження мовою країни, де вкорінена подія, поряд з українською. Це і є різниця між тим, щоб дістатися першоджерела, і тим, щоб дістатися четвертого видання, яке його повторило.
Свідомо шукає протилежне
Якщо шукати твердження, знайдуться ті, хто його повторює. Тому кожна перевірка додатково надсилає запит на спростування, побудований так, щоб підняти саме дебанки й заперечення. Цей запит додається в коді, а не лишається на розсуд моделі, тож він спрацьовує на кожному твердженні, включно з тими, що виглядають очевидно правдивими.
Докази зважуються, а не рахуються
Десять анонімних агрегаторів не переважують одне інформаційне агентство. Кожен доказ має оцінку з трьох складників: авторитетність домену, свіжість відносно моменту самої події та реальна релевантність уривка до твердження, а не до його ключових слів.
Двадцять передруків — це одне джерело
Коли та сама новина з’являється у двадцяти виданнях, це ще не двадцять підтверджень: часто всі вони переказують один пресреліз. Тому джерела зі схожим змістом ми групуємо й рахуємо як одне. А визначає, підтверджує джерело твердження чи спростовує, окрема модель, навчена спеціально на це завдання. Так штучно створений хор однакових публікацій не може видати вкид за підтверджений факт.
Числа й цитати звіряються з повним текстом
Уривок може підтверджувати, що звіт існує, але не казати, яке число в ньому. Для складових, що тримаються на цифрі або цитаті, ми витягуємо повний текст основного джерела, і цифра чи цитата мають у ньому справді бути. Коли твердження каже 70%, а джерело — 40%, вердикт стає «Маніпуляція». Саме цей випадок найчастіше проґавлює перевірка на рівні заголовків.
Десять вердиктів, бо двох замало
«Правда» і «неправда» описують малу частку того, що насправді ходить у мережі. Найцікавіші випадки — це точне речення, зібране так, щоб ввести в оману, справжня світлина з іншої війни, справжня цитата без своєї умови. Їм потрібні власні мітки:
| Вердикт | Що означає |
|---|---|
| Правда | Підтверджено незалежними надійними джерелами |
| Здебільшого правда | Правильне по суті, неточне в деталях |
| Частково правда | Частина складових підтверджується, щонайменше одна — ні |
| Бракує контексту | Точне як факт, оманливе як подача |
| Оманливе | Спростовується надійними джерелами в суттєвому |
| Маніпуляція | Цифра або цитата не збігається з власним джерелом |
| Неправда | Прямо спростовано |
| Неперевірне | Незалежних доказів поки що недостатньо |
| Думка | Оцінка, а не фактичне твердження |
| Сатира | Не подавалося як фактичне твердження |
Перед усім цим працює розпізнавання твердження. Прогноз, питання чи думка класифікуються як такі й не йдуть у пошук: присвоювати істиннісне значення фразі «уряд має піти у відставку» — це помилка категорії, а не фактчек.
Він відрізняє «неправда» від «поки не доведено»
Половина всіх перевірених тверджень повертається як неперевірні, і ми публікуємо саме цей вердикт, а не перетворюємо тонкі докази на присуд. Для новин, що ламаються просто зараз, це зазвичай і є чесна відповідь: у момент, коли твердження починає ходити, незалежних повідомлень про нього часто ще не існує.
Цю стриманість забезпечують три механізми, а не настрій моделі:
- Впевненість змішується з оцінкою, виведеною зі статистики доказів, тож вона відображає знайдене, а не те, наскільки впевнено звучить модель.
- Правила пониження зсувають вердикт донизу, коли незалежної надійної підтримки замало, коли якусь складову спростовано або коли надійні джерела суперечать одне одному.
- Твердження, у якому замало сигналу для перевірки, зупиняється ще до пошуку, і впевнена на вигляд відповідь просто не встигає згенеруватися ні з чого.
Фактчекер, який ніколи не повертає «неперевірне», не сильніший за той, що повертає. Він просто менш чесний щодо тієї самої невизначеності. Повний розподіл вердиктів — на сторінці методології.
Кожен вердикт приходить разом із доказами
Кожна перевірка зберігається з повним ланцюгом доказів: URL кожного джерела, дата публікації, визначена країна, оцінки авторитетності та свіжості, обчислена позиція щодо твердження і міркування, що привели до вердикту. Нічого з цього не згортається у зведення.
До вас це доходить двома шляхами. Відкритий датасет несе повний ланцюг усередині кожного файлу кластера, тож ви можете перезважити наші докази власними вагами або перевірити наші вердикти масово. Дашборд звіту показує той самий матеріал по одному звіту для тих, хто хоче розібрати конкретну історію.
Це та частина, яку ми найбільше хотіли б бачити скопійованою іншими. Вердикт, який неможливо перевірити, вимагає такої самої сліпої довіри, як і твердження, яке він судить.
Запустити його на ваших твердженнях
Пайплайн безперервно працює на українському Telegram, але ніщо в ньому не прив'язане ні до Telegram, ні до України. На вхід — твердження текстом, на вихід — вердикт разом із доказами.
Нам цікаво працювати з фактчекінговими організаціями, редакціями та дослідниками, які вже перевіряють твердження вручну і хочуть, щоб етап пошуку й збору доказів робився за них. Залежно від потреби це може означати:
- Прогін вашого набору тверджень через пайплайн і повернення вердиктів з повними ланцюгами доказів у вигляді даних
- Розширення таблиці авторитетності джерел на видання й мови вашого регіону: поза Україною саме це найбільше впливає на якість
- Вбудовування результатів у ваш наявний процес верифікації, щоб людина-перевіряльник починала зі зібраних доказів, а не з порожнього пошукового рядка
- Доступ до історичних перевірок як до дослідницького корпусу — з вердиктами й доказами під ними
Aisberg — зареєстрована українська неприбуткова організація (ЄДРПОУ 46034329). Для некомерційної роботи дослідників, фактчекерів і НГО ми робимо це безкоштовно. Напишіть, що саме ви перевіряєте, і ми скажемо, яку частину цієї роботи можемо зняти з вас.
Межі цього методу ми перелічуємо так само прямо, як і його можливості. Обмеження стосуються фактчекера так само, як і всього іншого, що ми публікуємо, і їх варто прочитати, перш ніж на це покладатися.
Новини стають чистішими, коли їх хтось перевіряє
Кластери новин, вердикти фактчекера й посилання на дашборд виходять у Telegram-каналі щогодини. Читати — безкоштовно й без реєстрації. А якщо хочете, щоб цієї роботи ставало більше, до неї можна долучитись.
Підписатись на канал Стати волонтером