Кто python или C\C++ изучает - вот вам упражнение: есть файл с строками. Найти и удалить дубликаты и создать новый файл без дубликатов. Опцион - уметь сравнивать как по полному совпадению, так и по частичному.
за пхп!
<?php
$ofname='test.txt';
$nfname='_' . $ofname;
$oarr = file($ofname, FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES);
if(!empty($oarr)) {
$narr = array_unique($oarr);
file_put_contents ($nfname, implode("\n",$narr));
}