Два роки тому компанія Google представила новий пошуковий алгоритм BERT для кращої обробки запитів різними мовами. За допомогою нейронної мережі алгоритм аналізує не окремі слова, а пропозиції цілком, що істотно покращує релевантність видачі. Виявилося, що на базі BERT можна створити вкрай ефективного ШІ-цензора, чим скористалися китайські розробники.
Як відомо, китайський сегмент інтернету відрізняється високим ступенем цензури. Складність китайської мови і різні хитрощі користувачів не дозволяють ефективно використовувати для цензури традиційні алгоритми пошуку «крамольних» публікацій. Наприклад, пошук за ключовими словами досягає точності 70%, а точність навченої людьми нейромережі наближається до 80%. Нова китайська розробка з елементами ШІ на алгоритмі BERT навіть без навчання дозволяє підвищити точність виявлення текстів, що підлягають цензурі, до 91%.
Алгоритм Google BERT з відкритим кодом не може аналізувати тексти довжиною більше 512 слів. Щоб обійти це обмеження розробники з Шеньянського університету Лігун і Китайської академії наук розробили алгоритм для розбивки великих текстів на доступні для аналізу за допомогою BERT і технологію подальшого складання текстів до початкового обсягу. Вийшло рішення, яке може шукати навіть прихований між рядків підтекст.
Сьогодні в Китаї для забезпечення цензури в інтернеті - для пошуку вмісту від аморального і терористичного до нападок на комуністичну партію і лад у країні - працює величезна армія цензорів-людей. Це колосальна стаття витрат. Штучний інтелект наближається до того, щоб не тільки замінити все це на машинний аналіз, але також обіцяє буквально не захлинутися в зростаючому потоці даних, з чим люди просто не впораються.
