Поиск дубликатов файлов с помощью CCleaner. Программы для поиска дубликатов файлов (или как найти одинаковые картинки, фото, документы, аудио и видео в разных папках)

Доброго времени суток.

Статистика вещь неумолимая - у многих пользователей на жестких дисках лежат, порой, десятки копий одного и того же файла (например, картинки, или музыкального трека). Каждая из таких копий, разумеется, отнимает место на винчестере. А если диск ваш уже «забит» под завязку - то таких копий может быть достаточно много!

Чистить дубликаты файлов вручную - вещь не благодарная, именно поэтому, я хочу собрать в этой статье программы для поиска и удаления дубликатов файлов (причем, даже тех, которые отличаются и по формату файла, и по размеру друг от друга - а это довольно сложная задача!). Итак…

Список программ для поиска дубликатов

1. Универсальные (для любых файлов)

Осуществляют поиск одинаковых файлов по их размеру (контрольным суммам).

Под универсальными программами, я понимаю, те, которые годятся для поиска и удаления дублей любых типов файлов: музыки, фильмов, картинок и пр. (ниже в статье для каждого типа будет приведены «свои» более точные утилиты). Работают они все в большинстве по одному типу: они просто сравнивают размеры файлов (и их контрольную сумму), если есть среди всех файлов одинаковые по этой характеристике - показывают вам!

Т.е. благодаря ним можно быстро найти на диске полные копии (т.е. один в один) файлов. Кстати, так же отмечу, что данные утилиты работают быстрее, чем те, которые специализированы для конкретного типа файлов (например, поиска картинок).

DupKiller

Эту программу я поставил на первое место по ряду причин:

• поддерживает просто огромное число разнообразных форматов, по которым она может проводить поиск;
• высокая скорость работы;
• бесплатная и с поддержкой русского языка;
• очень гибкая настройка поиска дублей (поиск по названию, размеру, типу, дате, содержимому (ограниченно)).

Duplicate Finder

Эта утилита, помимо поиска копий, еще и сортирует их так, как вам вздумается (что очень удобно, когда копий находится неимоверное количество!). Так же к возможностям поиска добавьте побайтовое сравнение, сверка контрольных сумм, удаление файлов с нулевым размером (и пустых папок тоже). В общем-то, с поиском дублей эта программа справляет довольно неплохо (и быстро, и качественно!).

Немного не комфортно будут себя чувствовать те пользователи, которые плохо знакомы с английским: русского в программе нет (возможно после будет добавлен).

Glary Utilites

Вообще, это не одна утилита, а целый сборник: поможет удалить «мусорные» файлы, задать оптимальные настройки в Windows, дефрагментировать и очистить жесткий диск и т.д. В том числе, в этом сборнике есть утилита для поиска дублей. Работает она относительно не плохо, поэтому я и порекомендую этот сборник (как один из самых удобных и универсальных - что называется на все случаи жизни!) еще раз на страницах сайта.

2. Программы поиска дубликатов музыки

Данные утилиты пригодятся всем меломанам, у которых на диске скопилась порядочная коллекция музыки. Рисую довольно типичную ситуацию: скачиваете различные сборники музыки (100 лучших песен октября, ноября и пр.), часть композиций в них повторяется. Не удивительно, что, накопив музыки на 100 ГБ (к примеру), 10-20ГБ - могут быть копиями. Причем, если бы размер этих файлов в разных сборниках был одинаковый - то их бы можно было бы удалить первой категорией программ (см. выше в статье), но так как это не так - то эти дубли не находятся ничем, кроме вашего «слуха» и специальных утилит (которые представлены ниже).

M usic Duplicate Remover

Результат работы утилиты.

Эта программа отличается от остальных, прежде всего, свои быстрым поиском. Она ищет повторные треки по их ID3 тегам и по звуку. Т.е. она как бы за вас прослушает композицию, запомнит ее, а затем сравнит ее с другими (таким образом, проделывает огромный объем работы!).

На скриншоте выше представлен ее результат работы. Свои найденные копии она представит перед вами в виде небольшой таблички, в которой к каждому треку будет приписана цифра в процентах схожести. В общем, достаточно удобно!

A

Найденные повторные MP3 файлы…

Эта утилита схожа с вышеприведенной, но у нее есть один несомненный плюс: наличие удобнейшего мастера, который будет Вас вести по шагам! Т.е. человек, впервые запустивший эту программу, легко разберется куда нажимать и что делать.

Например, в своих 5000 треках за пару часов, мне удалось найти и удалить несколько сотен копий. Пример работы утилиты представлен на скрине выше.

3. Для поиска копий картинок, изображений

Если анализировать популярность тех или иных файлов, то картинки, пожалуй, не отстанут от музыки (а для некоторых пользователей и перегонят!). Без картинок вообще сложно представить работу за ПК (и другими устройствами)! Но поиск картинок с одинаковым изображением на них - дело довольно трудное (и долгое). И, должен признаться, программ этого рода сравнительно не много…

ImageDupeless

Сравнительно небольшая утилита с довольно неплохими показателями поиска и устранения дублей картинок. Программа сканирует все изображения в папке, а затем сравнивает их между собой. В результате вы увидите список картинок, которые похожи друг на друга и сможете сделать вывод о том, какую из них оставить, а какую удалить. Очень полезно, иногда, прореживать свои архивы фото.

Пример работы ImageDupeless

Кстати, вот небольшой пример личного испытания:

• подопытные файлы: 8997 файлов в 95 каталогах, 785Мб (архив картинок на флешке (USB 2.0) - gif и jpg форматы)
• галерея заняла: 71.4Мб
• время создания: 26 мин. 54 сек.
• время сравнения и вывода результатов: 6 мин. 31 сек.
• результат: 961 похожее изображение в 219 группах.

Image Comparer

Об этой программе я уже упоминал на страницах сайта. Представляет собой так же небольшую программу, но с довольно хорошими алгоритмами сканирования картинок. Есть пошаговый мастер, запускающийся при первом открытии утилиты, который проведет через все «тернии» первой настройки программы для поиска дублей.

Кстати, чуть ниже приведен скриншот работы утилиты: в отчетах вы можете просмотреть даже мелкие детали, где картинки несколько различаются. В общем-то, удобно!

4. Для поиска дублей фильмов, видео-роликов

Ну и последний популярный тип файлов, на котором хотелось бы остановиться - это видео (фильмы, ролики и пр.). Если когда-то раньше, обладая 30-50 ГБ диском, знал в какой папке где и какой фильм сколько отнимает (и они все были наперечет), то, например, сейчас (когда диски стали 2000-3000 и более ГБ) - часто встречаются одни и те же ролики и фильмы, но в разном качестве (что может отнять достаточно много места на жестком диске).

Большинству пользователей (да, в общем-то и мне 🙂), такое положение дел не нужно: просто отнимает место на винчестере. Благодаря парочке утилит ниже, вы сможете очистить диск от одинаковых видео…

Накопившийся в процессе работы компьютера файловый мусор обычно представляет собой не только ненужные пользователю или временные файлы. Отдельной категорией являются файлы-дубликаты, которые одинаковы по своему содержанию, но хранятся в разных папках или на разных дисках компьютера.

Это могут быть, например, неоднократно сохраненные документы, повторяющиеся или похожие фотографии, одни и те же музыкальные композиции, которые вы скачали из Интернета и сохранили в разных папках или под разными именами. Важно понимать, что дубликатами, по сути, являются две версии одной и той же фотографии, имеющие разное разрешение. Или одна и та же песня одного и того же исполнителя, но записанная на разных концертах. Либо две версии одной и той же музыкальной композиции, но записанные в разных аудиоформатах.

Примером файлов-дубликатов можно считать также и две версии фильма, сохраненные с разным качеством или опять же в разных видеоформатах. Разумеется, вручную обнаружить такие дубликаты достаточно сложно, поэтому на помощь мы призовем специальные программы, которые занимаются поиском файлов-дубликатов. Как вы уже наверняка поняли из предыдущего абзаца, дубликаты каждого типа файлов (рисунки, музыка, видео, документы) имеют свои особенности.

Алгоритмы поиска дубликатов всех типов файлов значительно отличаются друг от друга, поэтому и поиском дубликатов файлов разных типов занимаются, как правило, разные программы. Рассмотрим некоторые из них. К тому же важно не только обнаружить дубликаты, но и выбрать самую последнюю версию документа или наиболее качественный видео- либо аудиофайл. Мы рассмотрим каждый тип файлов отдельно, а также приведем список популярных программ для работы с дубликатами.

Поиск картинок-дубликатов

Наиболее ярким примером картинок-дубликатов могут служить одинаковые или очень похожие фотографии. Многие современные фотоаппараты позволяют снимать в серийном режиме, когда снимки делаются с очень коротким интервалом - от нескольких долей секунды до нескольких секунд. При этом получившиеся снимки отличаются друг от друга совсем незначительно. Как показывает практика, нет реальной необходимости хранить похожие фотографии, достаточно выбрать один-два удачных снимка из серии, а остальные удалить.

Еще один случай, когда могут появляться дубликаты файлов с изображениями, - создание резервных копий фотографий на жестком диске, выборка картинок для презентации, при котором они копируются в другую папку. В общем пользователь зачастую сам создает копии изображений, а потом забывает их удалять. Впрочем, причины появления дубликатов изображений могут быть самыми разными. Наша задача - избавиться от таких дубликатов и очистить место на жестком диске. Среди наиболее распространенных программ, предназначенных для поиска картинок-дубликатов на компьютере, можно назвать следующие.

• SWMole Clone Remover . Адрес веб-сайта: http://www.clone-remover.com/ . Программа платная. Умеет искать не только дубликаты изображений (в том числе похожие рисунки, а не просто точные копии), но и копии музыкальных файлов. В незарегистрированной версии пользователь имеет возможность удалить не более 20 файлов. Копии изображений находит парами, даже если на диске находится более двух похожих изображений. Имеет русскоязычный интерфейс.
• Image Comparer . Веб-сайт: http://www.bolidesoft.com/rus/imagecomparer.html. Программа условно-бесплатная, имеет ознакомительный период 30 дней. Поддерживается многоязычный пользовательский интерфейс, среди языков есть русский. Имеется возможность поиска дубликатов картинок как в пределах одной папки, так и между несколькими папками. Интерфейс программы несколько сложноват для начинающего пользователя, однако возможно использовать режим пошагового мастера, который поможет найти и удалить дубликаты файлов изображений.
• Picasa . Официальная страница программы: https://picasa.google.com . Сама программа включает в себя множество различных инструментов для работы с фотографиями. В том числе в программе есть функция поиска картинок-дубликатов. Чтобы воспользоваться этой функцией, нужно в главном меню программы выбрать пункт Инструменты>>Экспериментальные функции>>Показать повторяющиеся файлы. Сразу обратим внимание на то, что программа ищет именно повторяющиеся файлы изображений, то есть абсолютно идентичные картинки. Зато находит их независимо от расположения и практически без участия пользователя. Программа является абсолютно бесплатной и имеет русскоязычный интерфейс. Кроме того, с помощью программы Picasa можно обрабатывать изображения, применять к ним различные фильтры, находить лица людей, отмечать места съемки и выполнять множество других полезных действий.
• Similar Images Finder . Веб-сайт программы: http://www.crown-s-soft.com/ru/sifinder.htm . Программа условно-бесплатная. В течение 30 дней можно пользоваться ею, не покупая, при этом накладывается ограничение на количество найденных файлов-дубликатов. Интерфейс программы англоязычный. Есть возможность настройки глубины «похожести» фотографий, а также установки предпочтений для найденных дубликатов: например, программе можно указать, чтобы она автоматически удаляла более старый из файлов-дубликатов, имеющий меньшую цветность или меньший размер. В программе есть мастер поиска дубликатов, который позволяет в пошаговом режиме указать критерии сравнения файлов изображений.

Поиск дубликатов музыкальных файлов

Так же как и изображения, музыкальные файлы порой могут занимать много дискового пространства, и в некоторых случаях найти одинаковые или похожие музыкальные композиции вручную бывает проблематично. На помощь придут специализированные приложения, автоматизирующие этот процесс. Расскажем о некоторых наиболее популярных из них.

• Audio comparer . Скачать программу можно на сайте: http://audiocomparer.com/rus/ . Приложение условно-бесплатное. В течение 30 дней его можно использовать без регистрации. Анализ музыкальных композиций основывается на сопоставлении имен исполнителей и названий песен. Эти данные берутся из названия файла и внутренней служебной информации, так называемых ID3-тегов. Есть возможность указать порог схожести названий, при которых композиции будут считаться одинаковыми. Приложение позволяет сравнивать файлы как внутри одного каталога на диске компьютера, так и между несколькими каталогами. Интерфейс программы несколько сложноват для начинающего пользователя, но это компенсируется наличием пошагового мастера, который облегчает процесс поиска дубликатов.
• Music Duplicate Remover . Сайт в Интернете: http://www.maniactools.com/ . Ключевое отличие этого приложения от аналогов - возможность поиска дубликатов по звучанию. Данная функция позволяет находить дубликаты даже среди тех файлов, которые некорректно поименованы. Программа условно-бесплатная и дает возможность незарегистрированному пользователю работать в течение 30 дней. Имеет простой пользовательский интерфейс на русском языке.
• SWMole Clone Remover . Как уже упоминалось, данное приложение умеет искать не только дубликаты изображений, но и повторяющиеся музыкальные композиции. Адрес веб-сайта программы: http://www.clone-remover.com/ . Интерфейс программы сложноват, но благодаря поддержке русского языка в нем несложно разобраться самостоятельно. Приложение может искать дубликаты музыкальных файлов лишь по имени файла и по ID3- тегам, не учитывая звучание. Используя одну из перечисленных или все программы сразу, вы можете освободить много полезного места на дисках своего компьютера.

Поиск дубликатов видеофайлов

Борьба с дубликатами видеофайлов имеет свои особенности по сравнению с поиском дубликатов картинок или музыки. Из-за больших размеров видеофайлов их обычно не так много на дисках компьютера, как музыки или изображений. Кроме того, появление дубликатов фильмов или видеороликов не столь распространенное явление, как «клонирование» фотографий или песен. Зато удаление даже одного клона видеофайла поможет освободить значительное количество дискового пространства. Кроме того, алгоритм сравнения видеопотоков гораздо сложнее рисунков или даже звучания музыки. По этой причине программ, предназначенных для поиска дубликатов видеофайлов, существует не так много. Остановимся на некоторых из них.

• Duplicate Video Search . Веб-адрес: http://duplicatevideosearch.com/rus/ . Программа условно-бесплатная - с ознакомительным периодом 30 дней. Имеет англоязычный интерфейс, который, впрочем, не перегружен лишними элементами, а потому достаточно понятен. Пользователь должен указать, в каких папках нужно производить поиск видеодубликатов. Приложение может сравнивать содержимое видеофайлов десяти различных форматов. Есть возможность указания глубины сравнения.
• Teemoon Video Matching . Домашняя страница программы: http://teemoon.name/videoid/Default.html . В отличие от своих «собратьев», данное приложение бесплатное. Работа с программой предполагает два этапа. Первый - индексирование, которое осуществляется на вкладке Indexing. В ходе этого процесса для каждого видеофайла из указанной папки создаются файлы индексов. Процесс длительный, но его требуется провести всего один раз, затем при сравнении файлов будут использоваться уже имеющиеся индексные файлы. Второй этап - сравнение, которое осуществляется на вкладке Matching. К недостаткам программы можно отнести отсутствие поддержки русского языка и неочевидный алгоритм работы.
• Video Comparer . Сайт программы: http://www.video-comparer.com/ . Приложение имеет платную и бесплатную версии. Для домашнего использования вполне подойдет бесплатная. Интерфейс программы довольно прост. От пользователя требуется только указать папки, в которых следует осуществлять поиск файлов-дубликатов, и нажать кнопку запуска процесса сравнения. Пользовательский интерфейс англоязычный.

Если вы являетесь киноманом и храните на своем компьютере большую коллекцию разных фильмов либо занимаетесь видеомонтажом и имеете множество видеофрагментов на жестком диске, то вам стоит провести «инвентаризацию» видеоархива. Возможно, вы найдете скрытые резервы своего компьютера.

Поиск других дубликатов

Как вы уже наверняка поняли, не существует универсальной программы, позволяющей избавиться от всех файлов-дубликатов одним махом, - для каждого типа данных требуется свой инструмент. Однако если оставить в стороне сложные алгоритмы сравнения изображений и звуков, а ограничиться просто сравнением имени, размера и даты файла, то можно отыскать немало дубликатов среди тех типов файлов, о которых мы здесь еще не упоминали. Это могут быть документы, файлы других форматов, которые зря занимают место на диске. Чтобы найти такие дубликаты, часто можно обойтись без специализированных программ. Например, если вы используете какой-нибудь популярный файловый менеджер, то можно воспользоваться его средствами для поиска и удаления файлов-дубликатов. Среди файловых менеджеров, имеющих функцию поиска файлов-дубликатов, можно назвать:

• FAR Manager;
• FreeCommander;
• Total Commander.

Если же вы не привыкли пользоваться файловыми менеджерами, то не стоит их устанавливать на компьютер только ради поиска дубликатов. Для этой задачи существуют специализированные приложения:

• CloneSpy - http://www.clonespy.com/;
• DupKiller - http://dupkiller.com/index_ru.html;
• Duplicate Cleaner - http://www.digitalvolcano.co.uk/duplicatecleaner. html;
• Free Duplicate File Finder - http://www.ashisoft.com/;
• NoClone 2014 Desktop - http://noclone.net/

Эти и множество других платных и бесплатных приложений на любой вкус помогут вам избавиться от дубликатов файлов на ваших жестких дисках.

" пришла новая - "как во всем этом разобраться?" Объемы современных жестких дисков достигли того, что на них вполне может случайно затеряться с десяток DVD-образов, не говоря уже о сотнях фотографий. Вы можете не замечать ненужных и повторяющихся файлов вплоть до того момента, когда место вдруг неожиданно закончится. Но перед тем, как покупать новый жесткий диск, имеет смысл почистить старый на предмет дубликатов. Возможно, после генеральной уборки проблема свободного места уже не будет стоять так остро. Искать повторяющиеся файлы вручную – это долго и неудобно. Гораздо проще воспользоваться одной из специальных утилит, которые выполняют большую часть работы за вас. Если вы готовы к ревизии жесткого диска, осталось только подобрать подходящий инструмент.

Разработчик: Ashisoft Software
Размер дистрибутива: 1,9 Мб
Распространение: shareware
Интерфейс: английский Duplicate Finder может выполнять две основные задачи: искать файлы по заданным критериям и сортировать их. К возможностям поиска относится побайтовое сравнение, проверка контрольной суммы, поиск файлов с одинаковыми названиями и с нулевым размером. Дополнительно можно установить защиту на системные папки, исключить из области поиска скрытые папки и файлы, а также включить режим Fuzzy Logic. В этом режиме файлы с незначительными отличиями будут показываться как идентичные. В область поиска можно включить сразу несколько папок, причем, для каждой задать свои параметры исключения. Так, в рамках каждой папки можно ограничивать поиск файлами определенного типа, размера; также есть ограничение по дате. Типы разрешенных файлов не придется вписывать вручную – тут есть достаточно много профилей для разновидностей файлов, например, текстовых, видео, аудио и т.д. Каждый профиль легко редактируется. Отдельно задаются папки, в которых не стоит выполнять поиск. Эта функция полезна, если областью поиска являются не отдельные папки, а целый жесткий диск. В этом случае удобно указать те папки, которые нужно пропускать. То же самое касается типов файлов – вы можете указать, файлы с каким расширением нужно пропускать.

Найденные дубликаты выводятся не по ходу сканирования, а после того, как поиск будет завершен. В то время, когда Duplicate Finder работает, вы можете наблюдать в строке состояния за ходом выполнения задания и за тем, сколько файлов было проверено. Результаты поиска будут представлены в виде списка. Различить, какие файлы являются дубликатами, можно по цвету: каждая вторая пара одинаковых файлов будет выделена голубым. Честно говоря, очень наглядным назвать такое выделение нельзя - было бы гораздо удобнее, если бы использовался другой цвет, но возможности его изменить мы в программе так и не обнаружили.

В списке найденных файлов показывается исчерпывающая информация о каждом из них: путь на диске, расширение, размер, дата последнего изменения. При помощи команд контекстного меню или кнопок на панели инструментов можно быстро переместить файл в другую папку, удалить его или скопировать. Кроме этого, можно просмотреть свойства файла, открыть в «Проводнике» папку, в которой он находится, или открыть сам файл. Стоит отметить достаточно широкие возможности выделения файлов в списке. Например, есть команда для быстрого выделения всех найденных дубликатов, для выделения всех файлов, которые относятся к указанным папкам, а также по размеру и по дате создания.

Предпросмотр некоторых графических файлов можно выполнить прямо в Duplicate Finder, правда, список поддерживаемых форматов не очень велик. Например, файлы.jpg и.bmp открылись во встроенном просмотрщике без проблем, а вот.tiff посмотреть не удалось. Для коммерческой программы, предназначенной для поиска дубликатов, стандартная схема "триал-версия на 30 дней" не подходит, поскольку за это время вполне можно успеть выполнить поиск ненужных файлов на всех жестких дисках, и приложение окажется просто ненужным. Поэтому разработчики Duplicate Finder применили другой подход: в оценочном режиме при помощи программы можно переместить, скопировать или удалить до 50 файлов, общий размер которых не может превышать 2 Мб. Впрочем, ничто не мешает вам удалять дубликаты, найденные при помощи Duplicate Finder, из файлового менеджера, но это не очень удобно. Хотя, если вы выберете этот, в общем-то, не очень честный способ, то имейте в виду, что в меню Action есть удобная команда Copy File Path To Clipboard, которая дублируется сочетанием клавиш CTRL+W. При выполнении этой команды в буфер обмена копируется путь к выделенному файлу. Остается только вставить его в командную строку файлового менеджера, и вы быстро окажетесь в нужной папке.

Разработчик: Александр Рослов
Размер дистрибутива: 3,9 Мб
Распространение: бесплатно
Интерфейс: русский Бесплатная программа DupKiller вполне может дать фору многим коммерческим аналогам. Утилита имеет достаточно удобный и, к тому же, русский интерфейс и может похвастаться гибкими настройками поиска дубликатов. Кроме стандартных возможностей сравнения файлов по названию, размеру, дате создания и типу тут можно найти интересную возможность сравнения по содержимому. При этом, пользователь может определить, откуда нужно начинать сравнивать файлы – с начала или с конца, а также указать, при каком проценте "похожести" их можно считать одинаковыми. Также стоит обратить внимание на возможность поиска файлов с похожими названиями. Выбрав эту функцию, можно определить, насколько файлы должны отличаться по названию, чтобы программа восприняла их как дубликаты.

Исключения тоже гибко настраиваются: можно указать минимальный и максимальный размер файлов для поиска, указать допустимые атрибуты для файлов и папок, а также расширения файлов и папки, которые должны быть исключены из поиска. DupKiller может искать дубликаты не только на жестких дисках, но и на виртуальных, RAM- и CD/DVD-дисках. Очень удобно, что для каждого носителя выводится его общий размер, а также количество свободного места в гигабайтах и процентах. После удаления ненужных файлов вы сможете сравнить результаты и оценить, насколько программа оказалась полезной. С ее помощью вы также можете определить, какие файлы уже были скопированы на DVD, и потому могут быть безболезненно удалены с винчестера. Во время сканирования программа ведет подробный лог операций и сообщает, какое действие выполняет в данный момент. После завершения операции выводится окно с сообщением о том, сколько времени было потрачено на поиск, сколько найдено повторяющихся файлов, и какой размер они занимают на жестком диске.

Список найденных дубликатов достаточно нагляден: файлы разбиваются на группы, которые визуально отделены друг от друга. Щелчок по файлу открывает окошко предварительного просмотра. Просмотр доступен для многих графических файлов, а также для всех текстовых. А подключив плагин, который входит в поставку DupKiller, но по умолчанию выключен, можно, не покидая программу, выполнять прослушивание аудиофайлов.

Возможности работы со списком дубликатов тоже на высоте: есть кнопки для быстрого удаления выделенных и помеченных файлов, автоматическое выделение файлов по ряду признаков. Параметры удаления настраиваются отдельно – можно переносить файлы в «Корзину» или удалять их безвозвратно.

Разработчик: Reasonable Software
Размер дистрибутива: 1,8 Мб
Распространение: shareware
Интерфейс: английский NoClone – это, пожалуй, самая известная программа для поиска дубликатов, и ее популярность вполне объяснима. Ее не очень симпатичный внешний вид с лихвой компенсируется большим числом функций. Программа может выполнять побайтовое сравнение файлов, находить одинаковые файлы MP3 по ID3-тегам, а также производить поиск в почте на предмет одинаковых писем. При помощи NoClone можно находить не только повторяющиеся файлы, но и делать выборку по определенному критерию, например, выводить список всех файлов, размер которых превышает 500 Мб, или всех файлов, которые были изменены в течение указанного промежутка времени.

Если вы регулярно делаете резервное копирование, а также выполняете синхронизацию данных между двумя компьютерами, у вас неизменно скапливается большое число версий одних и тех же файлов. Благодаря функции поиска похожих файлов (Similar Files), NoClone позволяет найти и удалить их. В настройках программы можно определить, на сколько процентов файлы должны быть похожи, чтобы NoClone показала их в списке дубликатов. Список с найденными дубликатами достаточно нагляден: в нем можно увидеть название, размер, расположение и дату файла. Очень продуманна функция предварительного просмотра изображений – если в других программах картинки показываются в небольшом всплывающем окошке, которое появляется при выборе графического файла в списке, тут есть специальная панель предпросмотра. На ней можно отобразить несколько файлов одновременно.

Разобраться со списком дубликатов поможет инструмент Smart Marker. C его помощью можно выделить найденные файлы по таким критериям, как размер, дата, название, количество символов в имени, расположение. Кроме этого, есть специальные флажки "оставлять как минимум один невыделенный файл в группе" и "выделить файлы в каждой группе". Еще одна особенность NoClone обнаруживается, когда дело доходит до удаления файлов. Кроме стандартных способов удаления – помещения дубликатов в корзину и полного удаления – в программе есть еще один интересный вариант: замена файла NTFS-ссылкой. Иными словами, программа оставляет на жестком диске только один файл, а вместо всех копий создает ссылки, которые ведут на него. Это может быть очень полезно, когда найденные при помощи NoClone дубликаты используются другими приложениями, например, если речь идет о библиотеке виртуальных дисков в программе Alcohol. Если вы удалите файл, то при запуске таких приложений можете получать сообщения об ошибках. Если же будет создана NTFS-ссылка, программа будет "видеть" файл по старому адресу, а фактически его там не будет. Разработчик: Marcus Kleinehagenbrock
Размер дистрибутива: 650 Кб
Распространение: бесплатно
Интерфейс: английский CloneSpy – это компактная бесплатная утилита для поиска дубликатов файлов со множеством интересных решений, к которым вполне могут присмотреться создатели многих коммерческих программ. Во-первых, тут очень удобное окно для добавления папок в область поиска. В большинстве программ для добавления каждой новой директории приходится по новой вызывать окно со списком папок и проделывать путешествие к нужному элементу, начиная с "Моего компьютера". В CloneSpy все гораздо удобнее: есть специальное окошко для добавления папок, которое разделено на две части: в левой вы выбираете нужную директорию, затем нажимаете кнопку Add Selected Folder, и директория добавляется в список папок, которые будут сканироваться. Повторять эти действия можно сколько угодно раз, не закрывая окна добавления папки. А список выбранных папок можно сохранять для дальнейшего использования и, при необходимости, подгружать в программу.

Следующая особенность – вывод результатов поиска по мере обнаружения дубликатов. В других программах, чтобы увидеть повторяющиеся файлы, как правило, приходится ждать конца сканирования, которое, в зависимости от того, насколько широка область поиска, может затянуться и на всю ночь. Тут же результаты можно просмотреть мгновенно – по мере поиска программа открывает отдельные окна для каждой группы повторяющихся файлов. В таком окне сразу же можно запустить файл, открыть папку, в которой он находится в «Проводнике», отметить файлы вручную или, по ряду критериев (дата, количество символов в названии, длина пути к файлу), удалить или пропустить и перейти к следующей группе дубликатов.

Работу с программой несколько омрачает отсутствие возможности предварительного просмотра изображений – каждый раз запускать программу для просмотра графики очень неудобно. Если вы выполняете сканирование большой области, то вывод результатов в отдельном окне для каждой группы файлов вряд ли будет удобен. Поэтому в этом случае перед началом сканирования стоит заглянуть на вкладку Report настроек программы и изменить параметры вывода результатов. Правда, выбрав вариант отображения результатов в виде единого списка, вы не сможете работать с дубликатами до завершения сканирования.

В этом материале речь пойдёт об инструментах выявления дублирующихся фото. В частности, сегодня в нашем обзоре побывают сразу шесть программ для поиска дубликатов фотографий на компьютере под управлением Windows. Мы сравним и выберем среди них лучшие и самые быстрые.

Причин востребованности таких программ может быть несколько: с одной стороны, ваша коллекция могла разрастись настолько, что дубликаты уже занимают немало места. С другой, ещё чаще просто нужен инструмент, который найдёт одинаковые или похожие фотографии, избавив вас от необходимости просматривать эти изображения самостоятельно.

В нашей подборке нашлось место для шести интересных программ, четыре из которых распространяются бесплатно. Далее мы расскажем о каждой из них и поможем вам быстрее сориентироваться в интерфейсе, если вы решите попробовать эти приложения.

А в заключительной части вас ждёт небольшое сравнение всех программ, в котором мы посмотрим, как они справляются с поиском одинаковых картинок при их лёгком видоизменении, а также проверим насколько программы хорошо могут справиться с большим набором фотографий весом в несколько гигабайт.

Image Comparer

Первая программа в нашем обзоре, ищущая дубликаты фото, называется Image Comparer . Её сильные стороны: неплохая функциональность и переведённый на русский язык интерфейс, включая подробную справочную информацию.

Теперь о недостатках. Первый – программа не бесплатная. Впрочем, стоимость лицензии составляет гуманные 350 рублей (хотя на сайте почему-то указана цифра 500). Вдобавок первые 30 дней вы можете использовать Image Comparer бесплатно.

Второй негативный момент заключается в лёгкой запутанности, которая может смутить неопытного пользователя. Например, для того чтобы провести поиск в рамках одной папки (в которую могут быть вложены и другие) вам нужно нажать на кнопку «создать галерею» и выбрать нужный каталог, в котором будет проводиться сканирование.

Далее вам тут же предложат дать имя и сохранить файл создаваемой галереи в любое удобное место (этот файл нужен будет самой программе). Как только это будет сделано, перед вами в виде списка или миниатюр откроется перечень всех изображений в указанной папке и её подпапках:

Кнопки, отмеченные стрелками, запускают поиск дубликатов. Первая кнопка – поиск в рамках одной галереи (выбранной вами папки), вторая кнопка чуть правее – в рамках нескольких галерей. Мы пошли по первому варианту.

Следом программа предложила создать ещё один служебный файл, в котором будут сохраняться результаты, для дальнейшего удобного к ним доступа. Собственно, создание файла для галереи и вот этого файла с результатами поиска, как раз и может немного запутать неопытного юзера. Впрочем, далее всё уже просто. Перед вами появятся найденные дубликаты:

Их можно просматривать в виде миниатюр или же, щёлкнув по вкладке «пары изображений» перейти к виду, где фотографии будут уже сравниваться между собой:

Ползунок по центру позволяет регулировать порог схожести изображений. 100% – и перед вами останется только список идеально похожих друг на друга, одинаковых картинок. Более низкие значения отобразят лишь схожие фотографии.

В настройках можно увидеть огромный список форматов от базовых JPG и PNG до более экзотических, с которыми работает программа. Форматы можно добавлять и исключить из поиска. Также можно настроить учёт отражённых и перевёрнутых картинок.

• Программа Image Comparer . Официальный сайт ;
• Язык: русский;

VisiPics

Следующая программа – VisiPics. В отличие от рассмотренной выше Image Comparer, VisiPics является бесплатным приложением, также специализирующемся на дубликатах фото. Увы, локализации на русский здесь нет, но расстраиваться по этому поводу точно не стоит: всё очень просто и предельно понятно.

С помощью боковой панельки навигации (мы обвели её в рамку) выберите нужный каталог. Далее нажмите стрелочку со значком «+», чтобы добавить эту папку в список, по которому будет вестись поиск. При желании таким же образом вы можете выбрать ещё несколько папок. Наконец, третьим шагом нажмите кнопку Play, чтобы запустить процесс нахождения дубликатов.

Справа от неё располагается специальный ползунок, где вы можете настраивать уровень «внимательности» программы. В случае установленного по умолчанию базового уровня VisiPics обнаружила для нас лишь две группы дубликатов, одна из которых состояла из трёх изображений, а другая из двух:

Это те изображения, которые программа считает практически идентичными дубликатами. Однако если вы понизите ползунок до уровня Loose, то находится будут и просто похожие друг на друга изображения. В нашем случае при установке Loose вместо Basic приложение нашло ещё четыре (в итоговом тесте ниже – 5) группы дубликатов, а одну из двух уже найденных дополнило ещё одной картинкой:

Дополнительных опций у программы относительно немного. Здесь можно настроить поиск в подпапках (по умолчанию он включён), отображение скрытых папок, учёт фотографий, повёрнутых на 90 градусов. На вкладке loader можно попросить VisiPics игнорировать мелкие файлы или, наоборот, картинки в слишком большом разрешении. Последнее важно для скорости.

• Программа VisiPics. Официальный сайт ;
• Язык: английский;
• Распространение: бесплатно.

Awesome Duplicate Photo Finder

Если вы ищете именно предельно простую программу для качественного поиска дублирующих фото и изображений, в которой было бы элементарно легко разобраться, то обратите внимание на Awesome Duplicate Photo Finder. Интерфейс здесь на английском, но он настолько прост, что разберётся в нём каждый.

С помощью кнопки «+» укажите нужный для поиска каталог или несколько каталогов, после чего нажмите Start Search и по ним начинается поиск. Опция Scan Subdirectories по умолчанию включена и отвечает за поиск в подпапках. Со своими задачами программа справляется, находя как весьма похожие:

Так и чуть более отличающиеся между собой картинки:

В настройках программы вы можете задать соответствие в 100%, если вам нужны исключительно абсолютно одинаковые фотографии.

Самих настроек, как видите, немного. Пожалуй, самое печальное, что работает программа всего с пятью основными форматами: BMP , JPG , PNG , GIF и TIFF. Причём последний по умолчанию не учитывается.

Также есть опции для обеспечения удаления дубликатов напрямую в корзину и отключения всплывающего подтверждения. Ещё программа умеет обновляться автоматически.

Официальный сайт ;
• Язык: английский;
• Распространение: бесплатно.

Similar Images Finder

Приложение Similar Images Finder встречает нас недобрым сообщением на английском о том, что за него нужно заплатить $34. Тем не менее на протяжении 30 дней программа готова поработать бесплатно. Следом появляется окно, предлагающее выбрать каталоги для поиска дубликатов:

Из него же мы узнаём, что Similar Images Finder поддерживает 29 форматов изображений, причём пользователь может выбирать конкретные форматы для поиска или исключать лишние. В списке, помимо прочего, можно наблюдать ico и wbmp.

При нажатии Next вы запустите поиск дубликатов, а когда он будет закончен, нажмите Next ещё раз, чтоб увидеть дополнительные настройки. Регулируя их, вы сможете более тщательно настроить то, что отобразиться в списке результатов. Наконец, нажав Next в третий раз вы наконец-то увидите уже и сам результат:

Перейти к следующей найденной картинке можно нажатием миниатюрной стрелочки в верхнем правом углу. Весь список найденных дубликатов открывается кликом по большой кнопке вверху с адресами текущих файлов.

В свою очередь, нажатие кнопки Next внизу приведёт к завершающему этапу работы. Там программа выведет список того, что, по её мнению, точно является дубликатами и предложит их удалить. На скриншоте выше Similar Images Finder справилась с изображением, куда был добавлен водяной знак, а также изменён контраст гистограммы.

Различая между картинками, программа посчитала на уровне 5,5%. При этом в другом примере, где на вторую картинку нами был добавлен сильный эффект размытия, отличия по версии приложения, почему-то составили всего 1,2%:

Увы, программа, находя реальные дубликаты, по умолчанию показывает и многие совсем непохожие друг на друга изображения, как будто в них есть что-то общее:

• Программа Similar Images Finder. Официальный сайт ;
• Язык: английский;
• Распространение: платно, 30 дней бесплатного использования.

Duplicate Remover Free

Duplicate Remover Free – единственная в нашем обзоре программа, которая сосредоточена всё же не конкретно на дубликатах фотографий, а на поиске дубликатов в целом. Как показывает практика, такие универсальные решения не очень хорошо проявляют себя в задачах, связанных с какой-то более узкой областью.

Однако одной такой программе мы сегодня даём шанс. Как подсказывает слово Free – распространяется она бесплатно. Вторым достоинством приложения является русский язык, а третьим – относительная современность на фоне других программ в этой подборке, многие из которых, к огромному сожалению, не обновлялись уже долгие годы.

Вам следует кликнуть по кнопке «добавить директорию» и выбрать нужные папки. По умолчанию программа в заданном каталоге не нашла для нас вообще ничего, однако, когда вверху вместо «точные дубликаты» мы выбрали пункт «похожие изображения», тут же были найдены четыре группы дубликатов, одна из которых состояла сразу из трёх файлов:

Дополнительных возможностей у приложения совсем немного. В частности, вы можете исключать из поиска файлы до и после определённого размера.

• Программа Duplicate Remover Free. Официальный сайт ;
• Язык: русский;
• Распространение: бесплатно.

AntiDupl

Заключительный участник нашего обзора – программа AntiDupl может приглянуться вам сразу по нескольким причинам. Во-первых, она бесплатная. Во-вторых, у неё русский интерфейс. Последнее, впрочем, не очевидно. Для того чтобы включить русский, откройте меню View и в разделе Language выберете соответствующий пункт:

В отличие от других, эта программа не инсталлируется, а находится в самораспаковывающемся архиве, который извлекает её вместе с необходимыми файлами в отдельную папку.

Чтобы подготовить поиск дубликатов кликните по кнопке с подписью Open и в появившемся окне добавьте нужные каталоги:

Следом можно нажимать Ок, а потом активировать на панели инструментов зелёную кнопку «начать поиск». Используя базовый алгоритм, программа нашла для нас несколько групп дубликатов:

На вкладке «поиск» можно узнать, что AntiDupl поддерживает 13 форматов, среди которых помимо традиционных JPG/PNG, есть ICON, PSD и EXIF . Разумеется, форматы можно выбирать. Ещё в опциях есть проверка на дефекты, блочность и размытость, причём в последних двух случаях можно задавать порог. Есть возможность искать в скрытых и системных каталогах.

• Программа AntiDupl. Официальный сайт;
• Язык: русский;
• Распространение: бесплатно.

При поиске дубликатов часть пользователей интересует именно 100% соответствие, чтобы избавиться от дублей в своей коллекции. Однако нередко возникает и задача найти именно похожие картинки.

И вот здесь огромное пространство для возможных отличий. Этот могут быть разные форматы, разрешения, обрезанные версии одного и того же изображения, добавление рамок и водяных знаков, изменённые цвета и подписи на картинках.

Мы постарались учесть большинство из этих факторов и после всех проб создали в итоге небольшой набор с более чем шестью десятками картинок. В них мы создали девять групп дубликатов. Скажем честно, на истину в последней инстанции наш опыт точно не претендует, но попробовать было интересно. Результаты следующие:

• Duplicate Remover Free: нашёл лишь 3 группы дубликатов;
• Similar Images Finder: нашёл 4 группы, но неудобный интерфейс, множество ложных результатов и при этом платность приложения сильно испортили общее впечатление;
• AntiDupl по умолчанию нашёл 3 типа дубликатов, установка алгоритма SSIM увеличила результат поиска до 5 групп;
• VisiPics при базовом уровне поиска нашёл лишь 2 группы дубликатов, однако установка ползунка на уровень Loose позволила найти уже 7 групп;
• Awesome Duplicate Photo Finder нашёл 7 групп дубликатов;
• Image Comparer также сумел обнаружить 7 групп.

При этом Image Comparer сумел найти изображения, которые пропустили Awesome Duplicate Photo Finder и VisiPics, а те, в свою очередь, восполнили пробелы Image Comparer.

Определяем самую быструю программу для поиска дубликатов фото

В то же время, качество программы ещё зависит и от её скорости. 60+ картинок – это, конечно же, не то, что с чем могут работать пользователи. Поэтому мы провели ещё один тест. На этот раз на скорость. Для этого мы взяли подборку из 4450 самых разных изображений, общий вес которой превысил 2.1 ГБ.

Две программы из этого обзора, увы, в тесте не заняли никакого места. Как выяснилось, Similar Images Finder, за который просят 34 доллара, в бесплатной версии готов зараз обработать не более 200 изображений.

В свою очередь, универсальный поисковик дубликатов Duplicate Remover Free, столкнувшись с каталогом серьёзного размера, более пяти минут интенсивно работал, а потом основательно завис. Остальные программы показали следующее время:

• AntiDupl: 0:39;
• Image Comparer: 1:02 (35 секунд на создание галереи и 27 на поиск);
• VisiPics: 2:37;
• Awesome Duplicate Photo Finder: 3:17.

В итоге в тесте на скорость в лидеры явно выбились Image Comparer и AntiDupl. На обработку нашего архива у них ушло около или же, в случае AntiDupl, меньше минуты.

Заключение

Подведём итоги. Если вам нужно найти не одинаковые, а именно похожие фотографии, отличающиеся, например, подписью или водяным знаком, то лучше остальных с этой задачей справятся Image Comparer, Awesome Duplicate Photo Finder и VisiPics в режиме работы Loose.

В плане скорости обработки многочисленной коллекции изображений безусловные лидеры AntiDupl и Image Comparer.

Наконец, в плане удобства интерфейса нам понравились Image Comparer и VisiPics, с ходу позволяющие визуально оценить все группы дубликатов. В свою очередь, за наглядность сравнения характеристик отдельных дубликатов мы также отметим AntiDupl.

Часто у нас хранятся похожие фотографии, неудачные кадры, или же лежат в разных папках жесткого диска одинаковые снимки. Чем больше человек увлекается фотографиями, тем больше таких файлов может храниться на компьютере, занимая свободное место. Чтобы найти одинаковые фотографии на компьютере, обратимся за помощью к сторонним программам.

Какими бывают одинаковые фотографии

Рассмотрим, какие фотографии, являющиеся дубликатами, обычно хранятся на компьютере:

1. Полностью идентичные файлы:
   как правило, образуются при копировании одних и тех же папок с фотографиями в разные места для сохранности.
2. Фотографии с одинаковыми именами файлов:
   могут появиться, если пользоваться разными фотоаппаратами одной марки. По сути не являются одинаковыми фотографиями, но могут быть случайно удалены при визуальном сравнении имен файлов без просмотра их содержимого.
3. Неудачные кадры:
   с уходом из массового обращения пленки для фотографий отпала необходимость контролировать количество сделанных кадров. Что, в свою очередь, позволило делать столько фотографий, сколько требуется, и потом отобрать самые удачные. Неудачные кадры, зачастую, визуально очень похожи на удачные, за исключением мелочей: моргнувший человек, смазанный кадр, случайный объект в поле съемки.
4. Изменённые фотографии:
   уменьшенные или увеличенные копии, фотографии с добавленными надписями, обрезанные в редакторе изображения.

Рассмотрим две популярные программы для поиска дубликатов изображений и сравним их возможности. Для этого возьмем фотографию известного кота, сделаем несколько её копий с разными изменениями и поместим все файлы в одну папку.

Способ 1: Awesome Duplicate Photo Finder

Бесплатная программа, не требующая установки. Благодаря простому интерфейсу позволяет быстро проверить папки на наличие дубликатов. Русский язык отсутствует.

Скачать Awesome Duplicate Photo Finder

1. 1. Запускаем программу.

1. 1. Выбираем папку для поиска нажав на «+» .

1. 1. После нажатия на кнопку «Start search» получаем таблицу с результатами и окно сравнения двух выбранных файлов.

Программа показывает процент сходства двух изображений и предлагает три варианта действий с каждым:

1. • Move — Переместить;
   • Browse — Показать в папке выбранный файл;
   • Delete — Удалить.

Способ 2: AntiDupl.NET

Бесплатная программа с открытым исходным кодом, с поддержкой русского языка. Покажем её возможности на тех же четырех фотографиях.

Скачать AntiDupl.NET

1. 1. Запускаем программу.

1. 1. Для начала поиска нажимаем «Поиск» и выбираем «Пути» .

1. 1. Добавляем папки, в которых будет произведен поиск, и нажимаем «Ок» .

1. 1. Запускаем поиск в выбранных папках, нажав «Поиск» и затем «Начать поиск» .

1. 1. После завершения поиска в главном окне выводится сравнение двух изображений в таблице найденных совпадений.

Программа смогла найти дубликат фотографии и в графе рекомендаций советует удалить один из файлов.

В данном случае приложение нашло два похожих изображения и показывает их отличия выделяя красным цветом в их свойствах (размер файла, размер изображения, степень сжатия, степень размытия).

Заключение

Разница между работой этих двух программ минимальна, но для некоторых пользователей наличие русского интерфейса является главным плюсом.