Невидимі символи в тексті: 6 безкоштовних сервісів для пошуку й видалення

Автор: Олена Шевченко

Невидимі символи — це знаки Unicode, які на екрані не мають видимого вигляду або виглядають як звичайний пробіл, але займають позицію в рядку, змінюють його довжину і поводяться інакше, ніж літери. Саме через них текст може виглядати чистим, пошук не знаходить потрібного слова, імпорт таблиці зламується, а логін відхиляється. Команда PromoPilot™, яка працює з текстовим контентом для сайтів і SEO-фахівців, неодноразово стикалася з тим, що причина помилки лежить не в тексті як такому, а саме в таких прихованих знаках. У попередній статті ми розглянули, чому вони з'являються; тепер перейдемо до практики: як їх знайти і прибрати, не зачепивши корисний вміст.

Найчастіше зустрічаються п'ять типів: нерозривний пробіл U+00A0, zero-width space U+200B, zero-width joiner U+200D, м'який перенос U+00AD і BOM U+FEFF. Нерозривний пробіл потрапляє в текст із веб-сторінок і верстки, zero-width space — з копіювання з редакторів і месенджерів, zero-width joiner потрібен для складних емодзі та деяких письмових систем, м'який перенос працює тільки там, де текст переноситься автоматично, а BOM найчастіше з'являється на початку файлів CSV і JSON, збережених у Windows. Кожен із них має різну природу, тож рішення про видалення завжди має бути окремим. Щоб швидко знайти та прибрати такі знаки, варто скористатися онлайн-інструментом для пошуку та видалення приховані символи прямо у браузері, без встановлення програм.

Такий порядок дій займає більше часу на початку, але економить години на пошук помилок імпорту, валідації та пошуку пізніше

Інструменти та підготовка до перевірки

Перш ніж щось змінювати, зробіть копію вихідного файлу. Це звучить банально, але саме на цьому етапі найчастіше губиться оригінал, і потім немає змоги порівняти результат. Також варто мати редактор, який показує символи або хоча б дає змогу переглянути код кожного знака. Підійдуть будь-які редактори з режимом відображення непечатних символів; для коду — редактори з підсвічуванням Unicode.

Складіть список джерел тексту. Одна й та сама помилка може мати різне походження: вивантаження з CMS дає одні символи, CSV з таблиць — інші, а текст, скопійований з PDF або Word, зазвичай містить власні набори пробілів і переносів. Коли відомо джерело, легше визначити, які типи знаків очікувати, і не шукати все підряд.

Ознаки проблеми досить конкретні. Пошук знаходить слово лише частково або зовсім не знаходить, хоча візуально воно є. Довжина рядка, яку рахує база даних, не збігається з очікуваною. Валідація полів відхиляє значення, яке виглядає правильним. Якщо бачите хоча б одну з цих ознак, перевіряйте код символів, а не текст очима.

Набір сервісів і їхні можливості

Безкоштовних онлайн-інструментів для роботи з невидимими символами кілька, і вони різняться за функціями. Одні показують Unicode-код кожного знака і його категорію, інші вміють масово видаляти обрані символи, треті дають змогу шукати за регулярними виразами. Для аналізу зазвичай достатньо двох-трьох сервісів: один для ідентифікації, один для очищення і один для перевірки результату. Головне — розуміти, що саме робить кожен із них, перш ніж довіряти йому файл.

Вибираючи сервіс, дивіться на три речі. Перша — де відбувається обробка: локально в браузері чи на сервері. Локальна обробка не передає текст третій стороні, серверна — передає. Друга — ліміт розміру файлу: для великих CSV-вивантажень ліміти бувають малими, і файл обривається без попередження. Третя — підтримка регулярних виразів і Unicode-категорій, зокрема \p{Cf} для форматуючих символів, \u200B для zero-width space або \u00A0 для нерозривного пробілу.

Приватність — окреме питання. Якщо текст містить персональні дані, паролі, внутрішні документи або неопубліковані матеріали клієнтів, не завантажуйте його в сервіс, який обробляє дані на сервері без зрозумілої політики зберігання. У таких випадках краще працювати з локальним редактором або скриптом. Перед тим як вставити текст, перевірте, чи є на сайті сервісу згадка про видалення файлів після обробки і чи шифрується передача.

Покроковий алгоритм пошуку невидимих символів

Порядок дій важливий. Спочатку варто зробити символи видимими: більшість редакторів мають режим показу непечатних знаків, який позначає пробіли, табуляції й переноси. Це дає першу картину — видно, де пробілів більше, ніж має бути, і де з'являються дивні розриви. Потім ідентифікуйте конкретні коди, а вже після цього шукайте їхні позиції в тексті. Перескакувати етапи не варто: без ідентифікації можна видалити не той символ.

Для пошуку зручні регулярні вирази. Вираз \p{Cf} знаходить усі форматуючі символи Unicode, включно з zero-width space, zero-width joiner і м'яким переносом. Вираз \u200B знаходить лише zero-width space, \u00A0 — нерозривний пробіл, \uFEFF — BOM. Починайте з вузького виразу, щоб бачити, що саме знайдено, і лише потім розширюйте пошук. Широкий вираз на зразок «всі не-ASCII символи» знайде й корисні літери кирилиці, тому його варто уникати.

Фіксуйте знайдені позиції. Якщо шукаєте в довгому документі, запишіть номер рядка, слово або фрагмент навколо символу. Це потрібно для того, щоб після очищення можна було перевірити контекст, а не гадати, чи не зник разом із зайвим знаком потрібний фрагмент. Для великих файлів зручно експортувати список знайдених позицій у окремий документ.

Ідентифікація конкретних кодів

Шістнадцяткові коди дають точність, якої не дає око. Інструменти з відображенням Unicode-кодів показують, наприклад, що в місці розриву стоїть U+200B, а не звичайний пробіл U+0020. Знаючи код, можна одразу визначити категорію символу і вирішити, чи його видаляти. Практично завжди корисно записувати, які коди зустрілися і скільки разів, — це дає уявлення про масштаб проблеми.

Візуально схожі символи — окрема небезпека. Звичайний пробіл, нерозривний пробіл і тонкий пробіл U+2009 на екрані майже не відрізняються, але для пошуку і для валідації вони різні. Пошук «текст» не знайде «текст» з нерозривним пробілом всередині, хоча людина бачить однакове слово. Тому для таких випадків завжди перевіряйте код, а не зовнішній вигляд.

Окремо варто перевіряти гомогліфи — символи, які виглядають як латинські літери, але належать іншим алфавітам. Кирилична «а» (U+0430) і латинська «a» (U+0061) не розрізняються оком, але для пошуку це різні знаки. Якщо пошук у змішаному тексті систематично не спрацьовує на слова з літерами «а», «о», «е», «р», «с», перевірте саме це. Такі підміни зустрічаються в тексті, скопійованому з різних джерел, і в назвах, які мають вигляд латинських.

Видалення та заміна без втрати змісту

Є два підходи: тотальна заміна або вибіркова обробка за контекстом. Тотальна заміна швидка і підходить для файлів, де всі знайдені символи є зайвими, наприклад для CSV, де BOM на початку ламає парсинг. Вибіркова обробка потрібна, коли частина знаків має сенс. Загальне правило: спочатку визначте, що саме має бути в кінцевому тексті, а потім видаляйте все інше. Серед практичних рішень для роботи з текстом часто згадують корисні деталі, зокрема інструменти, які показують невидимі знаки разом із їхніми кодами, що спрощує вибір між тотальною заміною та вибірковою обробкою.

Нерозривні пробіли часто можна замінити на звичайні, але не завжди. Якщо нерозривний пробіл стоїть між числом і одиницею виміру або між ініціалом і прізвищем, він навмисно не дає розірвати рядок, і заміна на звичайний пробіл може призвести до некоректного переносу. У таких місцях залишайте знак або замінюйте його свідомо. Там, де пробіл просто випадково потрапив із веб-сторінки, заміна безпечна.

Деякі невидимі символи потрібні. Zero-width joiner склеює складені емодзі, наприклад родину з кількох людей або професію з жіночим символом. Якщо його видалити, емодзі розпадуться на окремі знаки. М'який перенос корисний там, де текст має переноситися коректно в різних ширинах колонки, і його видалення зробить переноси негарними або відсутніми. Перед масовим очищенням перевірте, чи немає таких випадків у вашому тексті.

Перевірка результату

Після обробки порівняйте довжину рядків і хеші до та після. Якщо видалено лише невидимі символи, довжина відображуваного тексту не повинна змінитися, а довжина в байтах має зменшитися на кількість видалених знаків, помножену на їхню довжину в UTF-8. Хеш видимого тексту допоможе переконатися, що видимий вміст не змінився. Якщо хеш відрізняється, значить, разом із зайвим видалено і потрібне.

Перевіряйте результат у цільовому середовищі, а не лише в редакторі. Текст, який виглядає правильно у файлі, може поводитися інакше в браузері, CMS або базі даних. Імпортуйте файл у систему, де він буде використовуватися, і перевірте пошук, валідацію і відображення на кількох прикладах. Це займає кілька хвилин, але дозволяє знайти проблеми до того, як вони дійдуть до користувачів.

Завершіть повторним скануванням. Той самий регулярний вираз, яким шукали, має тепер не знаходити нічого, або знаходити лише символи, які ви свідомо залишили. Якщо з'явилися нові знахідки, значить, очищення було неповним або частину знаків була вставлена в процесі обробки. У такому разі повторіть алгоритм з початку.

Типові помилки та як їх уникнути

Найсерйозніша помилка — видалення символів, які мають значення в мовах зі складним письмом. В арабській або індійських абетках zero-width non-joiner і zero-width joiner визначають форму літер і з'єднання. Масове видалення таких знаків зламає текст, і помилка буде помітна лише носієві мови. Якщо серед вашого контенту є такі мови, очищення має бути вибірковим.

Друга типова помилка — втрата форматування через неправильне збереження. Якщо файл збережено не в UTF-8 або з помилковим кодуванням, знаки кирилиці перетворюються на набір знаків, а видалення BOM стає зайвим або, навпаки, необхідним. Завжди перевіряйте кодування після збереження. Для CSV і JSON зазвичай потрібен UTF-8 без BOM, але для деяких систем, зокрема старих версій Excel, BOM усе ще може бути потрібним. Перевірте вимоги своєї системи.

Ігнорування BOM у CSV та JSON часто призводить до того, що парсер не розпізнає перший заголовок або перший ключ. Наприклад, перша колонка з'являється як «\ufeffname» замість «name», і запит до неї повертає порожній результат. Це одна з найпоширеніших причин «дивних» помилок імпорту, і часто її не видно у звичайному перегляді.

Довіра до автоматичних сервісів без вибіркової перевірки — ще одна помилка. Сервіс може видалити більше, ніж потрібно, або не видалити деякі символи через обмеження регулярного виразу. Перевіряйте кілька фрагментів до і після обробки, особливо там, де текст містить складні символи, емодзі або мови з нестандартним письмом.

Чеклист для практичного застосування

• Вихідний файл збережено в резервну копію.
• Кодування UTF-8 без BOM підтверджено, якщо цього вимагає система.
• Знайдено і класифіковано всі типи невидимих символів.
• Визначено, які символи видаляти, а які зберігати.
• Результат перевірено в цільовому середовищі.
• Повторне сканування не виявило залишків.
• Задокументовано, які інструменти і правила використано для майбутніх обробок.

Головний висновок простий: невидимі символи не варто шукати на око, і їх не варто масово видаляти без ідентифікації. Спочатку визначте код і джерело, потім вирішіть, що саме видаляти, і лише після цього перевірте результат у середовищі, де текст буде працювати. Для регулярних обробок варто зафіксувати правила у вигляді чеклиста або скрипта, щоб кожен новий файл проходив однакову перевірку, а не розв'язувався заново.