Как я могу оптимизировать этот Perl-скрипт для поиска всех файлов и каталогов бесхозный на Unix?


(Первоначально опубликовано на переполнение стека)

После моих выводов и предложений в моем посте Как исключить список полный каталоги В найти команду на Солярися решил написать на Perl версии этот скрипт и посмотреть, как я могу оптимизировать его, чтобы бежать быстрее найти родную команду. Пока результаты впечатляют!

Цель этого сценария состоит в доклад все файлы и каталоги бесхозный в системе Unix для аудита соответствия. Скрипт должен принимать список каталогов и файлов, чтобы исключить (либо полный путь или имя шаблона), и должны занимать как можно меньше вычислительной мощности, как это возможно. Это предназначается, чтобы быть запущен на сотнях других UNIX-систем что мы (компания в которой я работаю) поддержки, а также иметь возможность работать на всех этих системах Unix (нескольких операционных систем, различных платформ: AIX и НР-UX и Solaris и Linux) без нас того, чтобы установить или обновить что-то. Другими словами, он должен работать со стандартными библиотеками и бинарниками можно ожидать на всех системах.

Я еще не сделал аргумент-в курсе сценария, поэтому все аргументы жестко в скрипте. Я планирую иметь следующие аргументы в конце концов и будет, вероятно, использовать команде getopts, чтобы сделать это:

-d = comma delimited list of directories to exclude by path name
-w = comma delimited list of directories to exclude by basename or wildcard
-f = comma delimited list of files to exclude by path name
-i = comma delimited list of files to exclude by basename or wildcard
-t:list|count = Defines the type of output I want to see (list of all findinds, or summary with count per directory)

Вот источник я сделал до сих пор:

#! /usr/bin/perl
use strict;
use File::Find;

# Full paths of directories to prune
my @exclude_dirs = ('/dev','/proc','/home');

# Basenames or wildcard names of directories I want to prune
my $exclude_dirs_wildcard = '.svn';

# Full paths of files I want to ignore
my @exclude_files = ('/tmp/test/dir3/.svn/svn_file1.txt','/tmp/test/dir3/.svn/svn_file2.txt');

# Basenames of wildcard names of files I want to ignore
my $exclude_files_wildcard = '*.tmp';
my %dir_globs = ();
my %file_globs = ();

# Results will be sroted in this hash
my %found = ();

# Used for storing uid's and gid's present on system
my %uids = ();
my %gids = ();

# Callback function for find
sub wanted {
    my $dir = $File::Find::dir;
    my $name = $File::Find::name;
    my $basename = $_;

    # Ignore symbolic links
    return if -l $name;

    # Search for wildcards if dir was never searched before
    if (!exists($dir_globs{$dir})) {
        @{$dir_globs{$dir}} = glob($exclude_dirs_wildcard);
    }
    if (!exists($file_globs{$dir})) {
        @{$file_globs{$dir}} = glob($exclude_files_wildcard);
    }

    # Prune directory if present in exclude list
    if (-d $name && in_array(\@exclude_dirs, $name)) {
        $File::Find::prune = 1;
        return;
    }

    # Prune directory if present in dir_globs
    if (-d $name && in_array(\@{$dir_globs{$dir}},$basename)) {
        $File::Find::prune = 1;
        return;
    }

    # Ignore excluded files
    return if (-f $name && in_array(\@exclude_files, $name));
    return if (-f $name && in_array(\@{$file_globs{$dir}},$basename));

    # Check ownership and add to the hash if unowned (uid or gid does not exist on system)
    my ($dev,$ino,$mode,$nlink,$uid,$gid) = stat($name);
    if (!exists $uids{$uid} || !exists($gids{$gid})) {
        push(@{$found{$dir}}, $basename);
    } else {
        return
    }
}

# Standard in_array perl implementation
sub in_array {
    my ($arr, $search_for) = @_;
    my %items = map {$_ => 1} @$arr;
    return (exists($items{$search_for}))?1:0;
}

# Get all uid's that exists on system and store in %uids
sub get_uids {
    while (my ($name, $pw, $uid) = getpwent) {
        $uids{$uid} = 1;
    }
}

# Get all gid's that exists on system and store in %gids
sub get_gids {
    while (my ($name, $pw, $gid) = getgrent) {
        $gids{$gid} = 1;
    }
}

# Print a list of unowned files in the format PARENT_DIR,BASENAME
sub print_list {
    foreach my $dir (sort keys %found) {
        foreach my $child (sort @{$found{$dir}}) {
            print "$dir,$child\n";
        }
    }
}

# Prints a list of directories with the count of unowned childs in the format DIR,COUNT
sub print_count {
    foreach my $dir (sort keys %found) {
        print "$dir,".scalar(@{$found{$dir}})."\n";
    }
}

# Call it all
&get_uids();
&get_gids();

find(\&wanted, '/');
print "List:\n";
&print_list();

print "\nCount:\n";
&print_count();

exit(0);

Если вы хотите, чтобы проверить его на вашей системе, просто создать структуру тестовый каталог с универсальные файлы, Чаун все дерево с тестового пользователя, создаваемые для этой цели, а затем удалить пользователя.

Я приму любые подсказки, советы или рекомендации вы могли бы дать мне.



772
1
задан 23 октября 2011 в 10:10 Источник Поделиться
Комментарии
1 ответ

В целом это выглядит чистым и простым. Хорошая работа. Вот некоторые вещи, которые я заметил:


  1. Вы должны использовать "использовать предупреждения" на уровне кода продукции. Его странным, что вы используете строгий, но не предупреждения.

  2. Список::утиль или list::MoreUtils должны иметь подходящую замену in_array() функция, если вы заинтересованы или установить его на всех ваших системах.

  3. Если вы используете Perl версии >= 5.10, вы можете заменить in_array с помощью смарт-матч oeprator ~~.

  4. Не позволяйте вашим исключить из списков слишком большой, как хранить их в массив, чтобы выполнить итерации через них-о(н) эксплуатации. Хэш-поиска может быть быстрее для больших списков и де-ДУП для вас автоматически.

  5. Использование & перед вызовом подпрограммы является в значительной степени устаревшим. Просто вызвать его напрямую.

  6. На притон линии '/usr/Бен/ОКР перл-это более портативный, чем '/usr/Бен/на Perl'

  7. Вы стат файл $имя снова и снова для всех ваших различных тестов. стат() это один раз, сохранить результаты, а затем повторно использовать эти результаты для всех тестов. Помните, что все тесты, как -д-л-и-F вызовов stat() внутренне. Читать на языке Perl при вызове и все поля, чтобы помочь определить, как заново создать -д-л-и -Ф проверки возвращаемых данных.

2
ответ дан 25 октября 2011 в 08:10 Источник Поделиться