Как удалить повторяющиеся строки?

Ручной поиск большого количества дубликатов — довольно трудоемкое занятие. Для облегчения поставленной задачи рекомендуется использовать специальные программы, т.к. компьютер создавался для облегчения работы. Вес таких программ, как правило, очень мал, поэтому вы сможете ее скачать за считанные секунды.

Вам понадобится

• Программное обеспечение Text Duplicate Killer.

Инструкция

Для поиска дубликатов вам необходимо установить данную программу. Для этого скопируйте файлы из zip-архива в любой пустой каталог. После ее запуска необходимо привести подопытный файл к формату ASCII. Запуск утилиты осуществляется двойным щелчком по файлу tdk.exe.

В главном окне программы нажмите верхнее меню «Файл» и выберите пункт «Открыть исходный файл». В открывшемся окне укажите файл, для которого будет произведен поиск дубликатов.

Нажмите меню «Файл» и выберите пункт «Задать целевой файл» - укажите имя файла, в который будут записаны результаты работы.

Для запуска процесса удаления дубликатов нажмите верхнее меню «Операции» и выберите опцию «Убрать дубликаты». Несмотря на продолжительность всего процесса, вы можете в любой момент прервать ход работы, для этого нажмите кнопку «Стоп». Для данной программы действует правило, что при большом объеме остановка процесса длится больше времени, нежели для файла небольшого объема.

Имя целевого файла можно задавать самостоятельно, а можно поручить это дело программе. Для этого нажмите на кнопку с изображением волшебной палочки. Стоит отметить, что для многократного выполнения операции для разных файлов необходимо задавать новые имена, иначе результаты прошлых попыток будут безвозвратно удалены.

Для настройки дополнительных параметров используйте меню «Опции». Для поиска дубликатов независимо от их регистров необходимо выбрать пункт «Игнорировать регистр». Например, Register, register и REGISTER после включения этой опции будут рассмотрены программой, как дубликаты. Также будет полезно активировать опцию «Игнорировать ведущие и конечные пробелы» - пробелы идущие перед словом и после слова будут автоматически пропущены, т.е. слова «порядок», « порядок» и « порядок » будут идентичны.

Оцените статью!