Home FreeBSD
FreeBSD

Обновление дерева портов

E-mail Печать PDF

Использование утилиты CVSup

Автор: lissyara.
Оригинал: http://www.lissyara.su/articles/freebsd/tuning/cvsup/

CVSup - это утилита для обновления исходных кодов ядра и самой сиcтемы, дерева портов и документации входящей в состав FreeBSD. C её помощью можно обновиться как до текущей стабильной ветки так и до одного из релизов. Вообще-то, в хандбуке эта тема довольно подробно разобрана, но тем не менее информации по этому вопросу в инете довольно мало. Здесь это изложено ради того, чтобы показать - порты нужно обновлять, и сделать это совсем несложно.
Всё что тут описано - делалось на системе FreeBSD 4.11, но отличия от других версий должны быть минимальны, если они будут вообще, во всяком случае в пределах всей 4-й ветки всё делается точно также, а пятую пока не использую - не нравиться она мне.../usr/home/lissyara/>cd /usr/ports/
/usr/ports/>make search name='cvsup'
Generating INDEX - please wait..^C
/usr/ports/>


Встревон. Нету индекса. Можно дать ему сделать его самостоятельно, но даже на 4 пне это занимает пару часов. Поэтому чтобы не мучать животину зазря надо это дело прервать (Ctrl-C) и скачать его:/usr/ports/>make fetchindex
INDEX.bz2 100% of 668 kB 19 kBps 00m00s
/usr/ports/>


Что тоже не есть хорошо. Скачается индекс для текущей версии портов... Обычно - прокатывает :) Ищем путь к порту:/usr/ports/>make search name='cvsup'
Port: cvsup-16.1h_2
Path: /usr/ports/net/cvsup
Info: General network file distribution system optimized
for CVS (GUI version)
Maint: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
B-deps: XFree86-libraries-4.5.0 expat-1.95.8_3 ezm3-1.2
fontconfig-2.2.3,1 freetype2-2.1.10_1 pkgconfig-0.17.2
R-deps: XFree86-libraries-4.5.0 expat-1.95.8_3 fontconfig-2.2.3,1
freetype2-2.1.10_1 pkgconfig-0.17.2

Port: cvsup-mirror-1.3_3
Path: /usr/ports/net/cvsup-mirror
Info: A kit for easily setting up a FreeBSD mirror site
using CVSup
Maint: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
B-deps:
R-deps: cvsup-without-gui-16.1h_2

Port: cvsup-without-gui-16.1h_2
Path: /usr/ports/net/cvsup-without-gui
Info: General network file distribution system optimized
for CVS (non-GUI version)
Maint: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
B-deps: ezm3-1.2
R-deps:

Port: fastest_cvsup-0.2.9_1
Path: /usr/ports/sysutils/fastest_cvsup
Info: Finds fastest CVSup server
Maint: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
B-deps:
R-deps: p5-PathTools-3.09 p5-Scalar-List-Utils-1.14,1
p5-Time-HiRes-1.72,1

/usr/ports/>


Я на серваке ГУИ не ставлю, потому выбираю /usr/ports/net/cvsup-without-gui. Если у Вас стоят иксы - значит надо просто cvsup ставить./usr/ports/>cd net/cvsup-without-gui
/usr/ports/net/cvsup-without-gui/>make && make install && make clean
===> Vulnerability check disabled, database not found
=> cvsup-snap-16.1h.tar.gz doesn't seem to exist in /usr/ports/distfiles/.
=> Attempting to fetch from ftp://ftp.FreeBSD.org/pub/FreeBSD/development/CV


Также будет вопрос от gettext что инсталлировать, я выбрал оба пункта - и файлы примеров и справку в html формате. Пригодится.
Он (CVSup) за собой тащит достаточно длинный список того что ему необходимо (суммарный объём скачанных файлов составил 28,2 метров) - /usr/ports/net/cvsup-without-gui/>pkg_info
expat-1.95.8 XML 1.0 parser written in C
ezm3-1.2 Easier, more portable Modula-3 distribution for building CV
gettext-0.14.1 GNU gettext package
gmake-3.80_2 GNU version of 'make' utility
libiconv-1.9.2_1 A character set conversion library
libtool-1.3.5_2 Generic shared library support script (version 1.3)
libtool-1.5.10 Generic shared library support script (version 1.5)


После установки копируем файл настроек и редактируем его:/usr/ports/net/cvsup-without-gui/>cd /usr/share/examples/cvsup/
/usr/share/examples/cvsup/>ls
README ports-supfile standard-supfile
cvs-supfile refuse www-supfile
doc-supfile refuse.README
gnats-supfile stable-supfile
/usr/share/examples/cvsup/>cp standard-supfile /usr/local/etc/supfile
/usr/share/examples/cvsup/>cd /usr/local/etc/
/usr/local/etc/>ee supfile


У меня он получился такой:# cvsup -g -L 2 /usr/local/etc/supfile
#
# Defaults that apply to all the collections
#
# IMPORTANT: Change the next line to use one of the CVSup mirror sites
# listed at http://www.freebsd.org/doc/handbook/mirrors.html.
*default host=cvsup2.ru.FreeBSD.org
*default base=/usr
*default prefix=/usr
*default release=cvs tag=RELENG_4_11
*default delete use-rel-suffix

# If your network link is a T1 or faster, comment out the following line.
*default compress

## Main Source Tree.
#
# The easiest way to get the main source tree is to use the "src-all"
# mega-collection. It includes all of the individual "src-*" collections.
#src-all
ports-all tag=.
#doc-all tag=.


Строка cvsup -g -L 2 /usr/local/etc/supfile сделана только по одной причине - память у меня жутко дырявая и постоянно в нём смотрю с какими опциями его надо запускать :) Какой выбрать сервер, с которого брать обновления - это ваше дело. Я нахожусь в России, поэтому выбрал cvsup3.ru.FreeBSD.org (вообще-то раньше я постоянно пользовался cvsup2.ru.FreeBSD.org - но последнее время он постоянно занят, поэтому я перешёл на cvsup3.ru.FreeBSD.org). Если Вы на камчатке и инет идёт, например, из японии - имеет смысл выбрать японский сервак. После чего можно запускать:/usr/ports/>rehash
/usr/ports/>cvsup -g -L 2 /usr/local/etc/supfile && make fetchindex
Parsing supfile "/usr/local/etc/supfile"
Connecting to cvsup2.ru.FreeBSD.org
Connected to cvsup2.ru.FreeBSD.org
Server software version: SNAP_16_1f
Negotiating file attribute support
Exchanging collection information
Establishing multiplexed-mode data connection
......................................


Первый раз на обновление всего дерева портов уходит довольно много трафика, входящего 14.4 - мегабайт, и исходящего 3.8 мег. В дальнейшем его будет гораздо меньше. Также, первое обновление самое долгое. У меня ушло почти 2 часа, и дело не в скорости линии (у меня 20кб/с - за 2 часа на ней можно выкачать 140 мегов), и не в скорости моего компа, тоже не слабый. Как я подозреваю сервак-то один а клиентов много. Он и неуспевает.
Вот, пожалуй и всё. Теперь у Вас свежая версия портов, и можно не волноваться за то, что устанавливаемое ПО давно устарело. Вообще, я завёл себе за правило - перед каждой установкой обновляю порты (разумеется если за один день надо установить 10 приложений, я их не обновляю 10 раз - вполне достаточно одного :)).

P.S. Вообще начиная с 5-ки появилась новая утилита portsnap - но она толи бестолковая какая-то, толи я дурак - но у меня она пытается всё архивное дерево портов затащить - 39 мегов... Нафик оно мне надо, если обновление с помощью cvsup выльется мне в пару мегов? Да и обновлять она может только порты, исходные коды системы не может....

Обновлено 28.05.2010 13:50
 

Настройка почтового сервера на базе postfix

E-mail Печать PDF

Настройка почтового сервера на базе postfix

Автор: lissyara.
Оригинал: http://www.lissyara.su/archive/postfix+courier-imap+mysql/


Эта статья в архиве. Postfix`ом я больше не пользуюсь, новых не будет. Используйте exim :))

MTA postfix - был создан как альтернатива sendmail, типа более простой, более шустрый и защищённый. Также в нём был отказ от монолитной структуры - он представляет собой много мелких программ занимающихся разными делами. Отличие от qmail состоит в том, что эти программы не умирают, выполнив порученное задание, а продолжают висеть в памяти. Это позволяет экономить ресурсы на запуск-убиение программ. Всё это, в том числе и структура postfix детально рассмотрено на его сайте, а на русском языке это можно найти тут.
Я на postfix пересел после sendmail, с которым довольно долго колупался пытаясь сделать на нём виртуальные домены, а в итоге просто плюнул и всё. Кроме поддержки виртуальных доменов postfix порадовал грамотным WEB-интерфейсом, такого у других почтовиков просто нет :(. А жаль... (просто в итоге я-то пользуюсь exim :)) А вот из плохого у него - кривая авторизация пользователей при отправке писем, куча конфигурационных файлов, пусть и с понятым и простым синтаксисом.
Итак, начало обычное - обновляем порты и поехали. Для начала ставим MySQL нужной нам (читать как Вам) версии, я пользуюсь 4.0: /root/>cd /usr/ports/databases/mysql40-server
/usr/ports/databases/mysql40-server/>make && make install && make clean


После чего добавляем строчку в /etc/rc.conf и запускаем mysqld. /usr/ports/databases/mysql40-server/>echo 'mysql_enable="YES"' >> /etc/rc.conf
/usr/ports/databases/mysql40-server/>cd /usr/local/etc/rc.d
/usr/local/etc/rc.d/>./mysql-server.sh start
Starting mysql.
/usr/local/etc/rc.d/>ps -ax | grep sql
54603 p1 S 0:00.02 /bin/sh /usr/local/bin/mysqld_safe --defaults-
54620 p1 S 0:02.54 /usr/local/libexec/mysqld --defaults-extra-fil
54622 p1 DL+ 0:00.00 grep sql
/usr/local/etc/rc.d/>


Если для редактирования файлов будете пользоваться такими же извращёнными методами что и я (это про echo 'mysql_enable="YES"' >> /etc/rc.conf), то аккуратней с угловыми скобками - если поставить одну, а не две, то строка будет не дописана в файл, а заменит содержимое файла (короче с одной скобкой в файле тока строка про майскул_енаблед и останется :)). Лучше пользуйтесь ее.
Дальше собираем phpMyAdmin (в общем-то он не нужен ,но я им пользуюсь, да и при установке он тащит с собой apache, php, и прочие необходимые вещи :)) /usr/local/etc/rc.d/>cd /usr/ports/databases/phpmyadmin
/usr/local/ports/phpmyadmin/>make && make install && make clean


Оставляем все опции по-умолчанию, у меня получилось (список того что я "выбрал"):
bzip2 library support
GD library support
OpenSSL support
PDFlib support
ZLIB support
MCrypt library support
Multi-byte character-set string support
За собой он тащит apache1.3 и php4. Для php выбираем:
Enable zend multibyte support
Build static OpenSSL extension
Для php4-gd выбираем всё, кроме поддержки японских шрифтов :), т.е.:
Include T1lib support
Enable TrueType string function
В опциях для php4-mpstring выбираем:
Enable multibyte regex support
А вот полный список того, что он за собой потащщит(для версии phpMyAdmin-2.6.4.r1):
php4-bz2-4.4.0
php4-zlib-4.4.0
libiconv-1.9.2_1
php4-mbstring-4.4.0
mysql-client-4.0.25
php4-mysql-4.4.0
autoconf-2.59_2
bison-1.75_2,1
gettext-0.14.5
gmake-3.80_2
imake-4.5.0
libltdl-1.5.20
libtool-1.5.20
m4-1.4.3
p5-gettext-1.03
php4-pcre-4.4.0
pkgconfig-0.17.2
t1lib-5.0.1,1
jpeg-6b_3
php4-gd-4.4.0
png-1.2.8_2
php4-4.4.0
help2man-1.35.1
freetype2-2.1.10_1
pdflib-6.0.2
pecl-pdflib-2.0.4
libmcrypt-2.5.7_1
php4-mcrypt-4.4.0
rc_subr-1.31_1
expat-1.95.8_3
apache-1.3.33_2
fontconfig-2.2.3,1
XFree86-libraries-4.5.0
Редактируем /usr/local/etc/apache/httpd.conf. Особо там нечего редактировать, если не собираетесь поднимать полноценный http-сервер. Если только для себя, тогда меняем эти пункты:# интерфейс, на котором работать.
#Если все интерфейсы, то - *
BindAddress 192.168.0.254

#И добавляем альяс на папку phpMyAdmin
Alias /phpMyAdmin/ "/usr/local/www/phpMyAdmin/"

<Directory "/usr/local/www/phpMyAdmin">
Options Indexes FollowSymlinks MultiViews
AllowOverride AuthConfig
Order deny,allow
Allow from all
</Directory>


Создаём файл паролей, и файл с пользователями (чтобы кто попало не шарился по этой папке) для апача:/usr/local/etc/rc.d/>cd /usr/local/www/
/usr/local/www/>htpasswd -bc .htpasswd lissyara my_password
Adding password for user lissyara
/usr/local/www/>htpasswd -b .htpasswd vasya_pryanikow vasin_password
Adding password for user vasya_pryanikow
/usr/local/www/>cat .htpasswd
lissyara:xrQpFTJSERWNY
vasya_pryanikow:kVrHSjsKfSDi.
/usr/local/www/>cd phpMyAdmin
/usr/local/www/phpMyAdmin/>cat > .htaccess
AuthName "Admin`s level :)"
AuthType Basic
AuthUserFile /usr/local/www/.htpasswd
Require valid-user

^C


Вкратце, о проделанных действиях - создали файл паролей, одновременно внеся туда пользователя lissyara с паролем my_password, затем добавили vasya_pryanikow с паролем vasin_password. Создали файл .htaccess - там прописали необходимость авторизации и путь до файла с паролями.
Добавляем apache_enable="YES" в rc.conf, и запускаем апача:/usr/local/www/phpMyAdmin/>echo 'apache_enable="YES"' >> /etc/rc.conf
/usr/local/www/phpMyAdmin/>../../etc/rc.d/apache.sh start
Starting apache.
[Thu Sep 8 10:07:06 2005] [alert] httpd: Could not determine the server's
fully qualified domain name, using 192.168.0.254 for ServerName
/usr/local/www/phpMyAdmin/>


У меня он ругнулся на жизнь - я не прописал DNS :) Ну и пробуем зайти по сети на него - http://192.168.0.254/phpMyAdmin/ (завершающий слэш обязателен, без него ругнётся что ненайдено). После чего даём пароль руту, правим /usr/local/www/phpMyAdmin/config.inc.php (заносим туда пароль root).
Ставим postfix:/usr/local/www/phpMyAdmin/>cd postfix
/usr/ports/mail/postfix/>cd /usr/ports/mail/postfix
/usr/ports/mail/postfix/>make && make install && make clean


Выбираем: MySQL map lookups и VDA (Virtual Delivery Agent). Если надо что-то ещё - выбирайте, а я не магистральный майлер поднимаю :) Потом будет следующий вопрос: Added user "postfix".
You need user "postfix" added to group "mail".
Would you like me to add it [y]?


- говорим y, следующий вопрос: Would you like to activate Postfix in /etc/mail/mailer.conf [n]? y


- тоже соглашаемся. Потом быренько вверх проскакивает инструкция что делать дальше, я первый раз прошляпил, и долго ковырялся над простыми вещами :(
If you have postfix configured in your /etc/mail/mailer.conf (answered yes to
the previous question) and would like to enable postfix to start at boot time,
please set these variables in your /etc/rc.conf file:

sendmail_enable="YES"
sendmail_flags="-bd"
sendmail_pidfile="/var/spool/postfix/pid/master.pid"
sendmail_procname="/usr/local/libexec/postfix/master"
sendmail_outbound_enable="NO"
sendmail_submit_enable="NO"
sendmail_msp_queue_enable="NO"

This will disable Sendmail completely, and allow you to use /etc/rc.d/sendmail
to start and stop postfix (FreeBSD 5.x and up). For FreeBSD 4.x, it will just
cause the system boot scripts to start sendmail for you.

Alternatively to the above settings, you can enable postfix to start with
the other local services, for example, after your database server starts if
you need it to be running for postfix. To do this, set in your rc.conf file:

sendmail_enable="NO"
sendmail_submit_enable="NO"
sendmail_outbound_enable="NO"
sendmail_msp_queue_enable="NO"

Then make the following symbolic link:

cd /usr/local/etc/rc.d
ln -s /usr/local/sbin/postfix postfix.sh

With either startup configuration, you will want to disable some
Sendmail-specific daily maintenance routines in your /etc/periodic.conf file:

daily_clean_hoststat_enable="NO"
daily_status_mail_rejects_enable="NO"
daily_status_include_submit_mailq="NO"
daily_submit_queuerun="NO"

Ну, и выполняем инструкцию :), вернее её вторую часть, где говорится о том, что если надо чтобы postfix запускался после БД то надо.... Читаем инструкцию, короче :)
Ставим postfixadmin./usr/ports/>cd /usr/ports/mail/postfixadmin
/usr/ports/mail/postfixadmin/>make && make install && make clean


По окончании опять-таки вылезет инструкция:1. Create the MySQL Tables
--------------------------
In ${PREFIX}/www/postfixadmin/DATABASE.TXT you can find the table
structure that you need in order to configure Postfix Admin and Postfix
in general to work with Virtual Domains and Users

2. Configure
------------
Check the ${PREFIX}/www/postfixadmin/config.inc.php file. There you
can specify settings that are relevant to your setup.

The default password for the admin part of Postfix Admin is admin/admin.
This is specified in the .htpasswd file in the admin directory. Make sure
that the location of the .htpasswd file matches your path.

3. Configure Apache
-------------------
Add a line in your httpd.conf to allow the use of .htaccess file.

<Directory "/usr/local/www/postfixadmin">
Options Indexes
AllowOverride AuthConfig
</Directory>


Что и делаем: /usr/ports/mail/postfixadmin/>cd /usr/local/www/postfixadmin/
/usr/local/www/postfixadmin/>mysql --user=root --password= < DATABASE_MYSQL.TXT


Вообще-то я бы порекомендовал для начала чуть поправить этот файл в текстовом редакторе, - конкретно место где в БД вносится пользователи и пароли - пароли надо бы сменить... Можно это сделать и через phpMyAdmin. В этом примере я ничего не меняю. Чего вам делать не советую. Далее - запароливаем директорию postfixadmin - чтобы никто лишний не шарился. Для этого используем всё теже файлы, что и для phpMyAdmin: cp ../phpMyAdmin/.htaccess .htaccess
/usr/local/www/postfixadmin/>rm admin/.ht*


Последнее сделано потому, что я предпочитаю запароливать весь интерфейс postfixadmin, а не только его папку admin. И добавляем в конфиг апача следующие строчки: Alias /postfixadmin/ "/usr/local/www/postfixadmin/"

<Directory "/usr/local/www/postfixadmin">
Options Indexes FollowSymlinks MultiViews
AllowOverride AuthConfig
Order deny,allow
Allow from all
</Directory>


Перезапускаем apache и пробуем зайти по адресу http://192.168.0.254/postfixadmin/ Там нам предлагают запустить setup. У меня он ругнулся на отсутствующий модуль php и дал подробную инструкцию что сделать. После выпоннения инструкции надо перезапустить апач (этого в инструкции нет). После всё работает. (Ну, там стандартные ошибки из версии в версию - надо исправить кодировку в файле templates/header.tpl на windows-1251 и влепить в меню 4 штуки <br>-ов чтоб не наезжало друг а друга в файле templates/admin_menu.tpl).
Можно конфигурить postfix. В директории /usr/local/etc/postfix создаём следующие файлы:
/usr/local/etc/postfix/mysql_relay_domains_maps.cfuser = postfix
password = postfix
hosts = localhost
dbname = postfix
table = domain
select_field = domain
where_field = domain


/usr/local/etc/postfix/mysql_virtual_alias_maps.cfuser = postfix
password = postfix
hosts = localhost
dbname = postfix
table = alias
select_field = goto
where_field = address


/usr/local/etc/postfix/mysql_virtual_domains_maps.cfuser = postfix
password = postfix
hosts = localhost
dbname = postfix
table = domain
select_field = transport
where_field = domain


/usr/local/etc/postfix/mysql_virtual_mailbox_limit_maps.cfuser = postfix
password = postfix
hosts = localhost
dbname = postfix
table = mailbox
select_field = quota
where_field = username


/usr/local/etc/postfix/mysql_virtual_mailbox_maps.cfuser = postfix
password = postfix
hosts = localhost
dbname = postfix
table = mailbox
select_field = maildir
where_field = username


/usr/local/etc/postfix/main.cfqueue_directory = /var/spool/postfix
command_directory = /usr/local/sbin
daemon_directory = /usr/local/libexec/postfix
mail_owner = postfix
mynetworks_style = subnet
mynetworks = 192.168.8.0/24, 127.0.0.0/8
sendmail_path = /usr/local/sbin/sendmail
newaliases_path = /usr/local/sbin/newaliases
mailq_path = /usr/local/sbin/mailq
setgid_group = maildrop
html_directory = no
manpage_directory = /usr/local/man
sample_directory = /usr/local/etc/postfix
readme_directory = no
myhostname = mail.my_domain.ru
mydomain = my_domain.ru
myorgin = $mydomain
mydestination = localhost
local_transport = virtual
smtpd_recipient_restrictions =
permit_mynetworks,
reject_non_fqdn_hostname,
reject_non_fqdn_sender,
reject_unauth_destination,
reject_unauth_pipelining,
reject_invalid_hostname,
reject_rbl_client list.dsbl.org,
reject_rbl_client bl.spamcop.net,
reject_rbl_client sbl-xbl.spamhaus.org
content_filter = scan:127.0.0.1:10025
receive_override_options = no_address_mappings

relay_domains = mysql:/usr/local/etc/postfix/mysql_relay_domains_maps.cf
virtual_alias_maps = mysql:/usr/local/etc/postfix/mysql_virtual_alias_maps.cf
virtual_gid_maps = static:125
virtual_mailbox_base = /var/spool/postfix/virtual/
virtual_mailbox_domains = mysql:/usr/local/etc/postfix/mysql_relay_domains_maps.cf
virtual_mailbox_limit = 51200000
virtual_mailbox_maps = mysql:/usr/local/etc/postfix/mysql_virtual_mailbox_maps.cf
virtual_minimum_uid = 125
virtual_transport = virtual
virtual_uid_maps = static:125
# QUOTA
virtual_create_maildirsize = yes
virtual_mailbox_extended = yes
virtual_mailbox_limit_maps = \
mysql:/usr/local/etc/postfix/mysql_virtual_mailbox_limit_maps.cf
virtual_mailbox_limit_override = yes
virtual_maildir_limit_message = Дохрена почты скопилось в ящике. Надо удалить!
virtual_overquota_bounce = yes
unknown_local_recipient_reject_code = 550
transport_map = mysql:/usr/local/etc/postfix/mysql_virtual_domains_maps.cf
message_size_limit = 10240000
smtpd_recipient_limit = 5



/usr/local/etc/postfix/master.cf - тут редактируем не все строки# CLAMAV
scan unix - - n - 16 smtp -o smtp_send_xfo
127.0.0.1:10026 inet n - n - 16 smtpd
-o content_filter=
-o smtpd_helo_restrictions=
-o smtpd_client_restrictions=
-o smtpd_sender_restrictions=
-o smtpd_recipient_restrictions=permit_mynetworks,reject
-o mynetworks_style=host
-o smtpd_autorized_xforward_hosts=127.0.0.0/8



Затем ставим ClamAV и ClamSMTP:
/usr/local/etc/postfix/>cd /usr/ports/security/clamsmtp
/usr/ports/security/clamsmtp/>make && make install && make clean


Чуть погодя появляется окошко ClamAV с опциями (ClamSMTP его за собой тащщит), где ничё не выбираем. Затем конфигурим ClamSMTP:
/usr/local/etc/postfix/clamsmtpd.conf (его там нет, есть только исходный clamsmtpd.conf-sample)OutAddress: 10026
Listen: 0.0.0.0:10025
ClamAddress: /var/run/clamav/clamd
Header: X-AV-Checked: ClamAV using ClamSMTP on mail.my_domain.ru
TempDirectory: /tmp/clamav_tmp
Quarantine: on
User: clamav


И ClamAV:
/usr/local/etc/postfix/clamd.confLogFile /var/log/clamd.log
PidFile /var/run/clamav/clamd.pid
DatabaseDirectory /var/db/clamav
LocalSocket /var/run/clamav/clamd
FixStaleSocket
User clamav
ScanPE
ScanOLE2
ScanMail
ScanHTML
ScanArchive
ScanRAR
ArchiveMaxFiles 5000


Добавляем в /etc/rc.conf строки, создаём папки, запускаем это хозяйство и сразу его обновляем:/usr/local/etc/>echo 'clamav_clamd_enable="YES"' >> /etc/rc.conf
/usr/local/etc/>echo 'clamsmtpd_enable="YES"' >> /etc/rc.conf
/usr/local/etc/>cd rc.d
/usr/local/etc/rc.d/>mkdir /tmp/clamav_tmp
/usr/local/etc/rc.d/>chown clamav /tmp/clamav_tmp
/usr/local/etc/rc.d/>
/usr/local/etc/rc.d/>./clamsmtpd.sh start
Starting clamsmtpd.
/usr/local/etc/rc.d/>./clamav-clamd.sh start
Starting clamav_clamd.
/usr/local/etc/rc.d/>ps -ax | grep clam
87674 ?? Is 0:00.00 /usr/local/sbin/clamsmtpd -f /usr/local/etc/clamsmtpd.conf
87683 ?? Ss 0:00.01 /usr/local/sbin/clamd
87698 p0 S+ 0:00.01 grep clam
/usr/local/etc/rc.d/>mkdir /var/spool/postfix/virtual
/usr/local/etc/rc.d/>chown postfix:mail /var/spool/postfix/virtual
/usr/local/etc/rc.d/>
/usr/local/etc/rc.d/>newaliases
/usr/local/etc/rc.d/>
/usr/local/etc/rc.d/>freshclam
freshclam: Command not found.
/usr/local/etc/rc.d/>rehash
/usr/local/etc/rc.d/>freshclam
ClamAV update process started at Fri Sep 9 17:50:11 2005
main.cvd is up to date (version: 33, sigs: 36102, f-level: 5, builder: tkojm)
Downloading daily.cvd [*]
ERROR: Mirrors are not fully synchronized. Please try again later.
Trying again in 5 secs...
ClamAV update process started at Fri Sep 9 17:50:17 2005
main.cvd is up to date (version: 33, sigs: 36102, f-level: 5, builder: tkojm)
Downloading daily.cvd [*]
daily.cvd updated (version: 1072, sigs: 4080, f-level: 5, builder: sven)
Database updated (40182 signatures) from database.clamav.net (IP: 213.248.60.121)
Clamd successfully notified about the update.
/usr/local/etc/rc.d/>


Во как. Попал на момент синхронизации самого зеркала. Вообще неплохо добавить строчку обновления ClamAV в crontab - пусть обновляется 3-4 раза в сутки. Перезагружаем машину, и смотрим, запустился ли postfix./usr/home/lissyara/>ps -ax | grep master
215 ?? Is 0:02.55 /usr/local/libexec/postfix/master
/usr/home/lissyara/>


для тестирования работы создаём два домена через postfixadmin - my_domain.ru и mail.my_domain.ru. В домене mail.my_domain.ru создаём альяс * - чтоб вся его почта валилась на какой нужно ящик.
В качестве pop3 и imap демонов выступит courier-imap. Почему он? Ну просто настраивается он легко, и возможностей выше крыши. И нравится мне он. :)/root/>cd /usr/ports/mail/courier-imap/
/usr/ports/mail/courier-imap/>make && make install && make clean


Выбираем только одну опцию - AUTH_MySQL. Если Вам нужно что-то ещё - ставьте. Он за собой потащщит courier-authlib-base и courier-authlib-mysql. После чего настраиваем:
/usr/local/etc/authlib/authmysqlrcMYSQL_SERVER localhost
MYSQL_USERNAME postfix
MYSQL_PASSWORD postfix
MYSQL_PORT 3306
MYSQL_DATABASE postfix
MYSQL_USER_TABLE `mailbox`
MYSQL_CRYPT_PWFIELD `password`
MYSQL_UID_FIELD 125
MYSQL_GID_FIELD 125
MYSQL_LOGIN_FIELD `username`
MYSQL_NAME_FIELD `name`
MYSQL_HOME_FIELD CONCAT('/var/spool/postfix/virtual/', `maildir`)
MYSQL_MAILDIR_FIELD CONCAT('/var/spool/postfix/virtual/', `maildir`)
DEFAULT_DOMAIN my_domain.ru


После чего добавляем строчки в /etc/rc.conf и запускаем это хозяйство: /usr/local/etc/authlib/>cd /usr/local/etc/rc.d
/usr/local/etc/rc.d/>echo 'courier_imap_pop3d_enable="YES"' >> /etc/rc.conf
/usr/local/etc/rc.d/>echo 'courier_imap_imapd_enable="YES"' >> /etc/rc.conf
/usr/local/etc/rc.d/>echo 'courier_authdaemond_enable="YES"' >> /etc/rc.conf
/usr/local/etc/rc.d/>./courier-authdaemond.sh start
Starting courier_authdaemond.
/usr/local/etc/rc.d/>./courier-imap-imapd.sh start
Starting courier_imap_imapd.
/usr/local/etc/rc.d/>./courier-imap-pop3d.sh start
Starting courier_imap_pop3d.
/usr/local/etc/rc.d/>ps -ax | grep imap
68539 ?? I 0:00.00 /usr/local/sbin/courierlogger -pid=/var/run/imapd.pid
68540 ?? I 0:00.02 /usr/local/libexec/courier-imap/couriertcpd -address=0
68549 ?? S 0:00.00 /usr/local/sbin/courierlogger -pid=/var/run/pop3d.pid
68550 ?? S 0:00.02 /usr/local/libexec/courier-imap/couriertcpd -address=0
68552 p0 S+ 0:00.01 grep imap
/usr/local/etc/rc.d/>sockstat | grep couri
root couriert 68550 3 tcp4 *:110 *:*
root couriert 68540 3 tcp4 *:143 *:*
root courierl 68549 4 dgram syslogd[70]:3
root courierl 68539 4 dgram syslogd[70]:3
root courierl 68523 4 dgram syslogd[70]:3
/usr/local/etc/rc.d/>sockstat | grep auth
root authdaem 68529 5 stream /var/run/authdaemond/socket.tmp
root authdaem 68528 5 stream /var/run/authdaemond/socket.tmp


Ну, вот и всё. Всё работает и крутится :)
Данная конфигурация тестилась на следующей машине:
P-II 233 MHz
64 Mb RAM
8 Gb HDD
Версии установленного ПО (без учёта мелочи что тянется следом):
courier-authlib-base-0.57 Courier authentication library base
courier-authlib-mysql-0.57 MySQL support for the Courier authentication library
courier-imap-4.0.4,1 IMAP (and POP3) server that provides access to Maildir mail
postfix-2.2.5,1 A secure alternative to widely-used Sendmail
postfixadmin-2.1.0_1 PHP frontend to postfix and mySQL
mysql-client-4.0.25 Multithreaded SQL database (client)
mysql-server-4.0.25 Multithreaded SQL database (server)

P.S. Добавлено 2006-01-14 в 16:20
Жизнь полна сюрпризов и неожиданностей :))) На старой работе понадобилось приделать отправку почты снаружи - а там конфигурация ровно как описанная в статье - соответствено снаружи ничё не предусмотрено. Что потребовалось - пересобрать и переустановить postfix с опциями (предварительно удалив старый - pkg_delete):[X] SASL2 Cyrus SASLv2 (Simple Authentication and Security Layer)
[X] MySQL MySQL map lookups (choose version with WITH_MYSQL_VER)
[X] VDA VDA (Virtual Delivery Agent)


SASL2 он сам за собой потащщит. Но, перед тем как установить SASL2 его надо пропатчить. Причина проста - sasl не умеет работать с криптоваными паролями, а в бд они хранятся в зашифрованном виде. Затем и патчим - чтоб научить :) Патч берём отсюда. Сохраняем его в /usr/ports/security/cyrus-sasl2/files/ под именем patch-crypt. Вот его содержимое (на случай если тот сервер будет лежать):/usr/ports/security/cyrus-sasl2/files/>cat patch-crypt
*** lib/checkpw.c.orig Thu Jan 13 09:44:01 2005
--- lib/checkpw.c Thu Jan 13 09:47:17 2005
***************
*** 143,149 ****
"*cmusaslsecretPLAIN",
NULL };
struct propval auxprop_values[3];
!
if (!conn || !userstr)
return SASL_BADPARAM;

--- 143,153 ----
"*cmusaslsecretPLAIN",
NULL };
struct propval auxprop_values[3];
!
! /* added by lopaka */
! char salt[31];
! char *crypt_passwd = NULL;
!
if (!conn || !userstr)
return SASL_BADPARAM;

***************
*** 180,191 ****
goto done;
}

/* At the point this has been called, the username has been canonified
* and we've done the auxprop lookup. This should be easy. */
if(auxprop_values[0].name
&& auxprop_values[0].values
&& auxprop_values[0].values[0]
! && !strcmp(auxprop_values[0].values[0], passwd)) {
/* We have a plaintext version and it matched! */
return SASL_OK;
} else if(auxprop_values[1].name
--- 184,220 ----
goto done;
}

+ /* 20041008 added by lopaka */
+ /* encrypt the passwd and then compare it with the encrypted passwd */
+ if(!strncmp(auxprop_values[0].values[0],"$1",2))
+ {
+ /* MD5 */
+ /* obtain salt = first 12 chars */
+ crypt_set_format("md5");
+ strlcpy(salt,auxprop_values[0].values[0],13);
+ }
+ else if(!strncmp(auxprop_values[0].values[0],"$2",2))
+ {
+ /* BLF (blowfish) */
+ /* obtain salt = first 30 chars */
+ crypt_set_format("blf");
+ strlcpy(salt,auxprop_values[0].values[0],31);
+ }
+ else
+ {
+ /* DES */
+ /* obtain salt = first 2 chars */
+ crypt_set_format("des");
+ strlcpy(salt,auxprop_values[0].values[0],3);
+ }
+ crypt_passwd = crypt(passwd,salt);
+
/* At the point this has been called, the username has been canonified
* and we've done the auxprop lookup. This should be easy. */
if(auxprop_values[0].name
&& auxprop_values[0].values
&& auxprop_values[0].values[0]
! && !strcmp(auxprop_values[0].values[0], crypt_passwd)) {
/* We have a plaintext version and it matched! */
return SASL_OK;
} else if(auxprop_values[1].name



После чего инсталлируем postfix и делаем файлик /usr/local/lib/sasl2/smtpd.conf следующего содержания:log_level: 7
pwcheck_method: auxprop
sql_engine: mysql
mech_list: plain login cram-md5 digest-md5
sql_hostnames: localhost
sql_user: postfix
sql_passwd: postfix
sql_database: postfix
sql_select: SELECT password FROM mailbox WHERE username = '%u@%r'
sql_verbose: true


(На пункт log_level он почему-то забивает, причину пока не нашёл), добавить в main.cf следующие строки:broken_sasl_auth_clients = yes
smtpd_sasl_auth_enable = yes
smtpd_sasl_security_options = noanonymous


И рихтануть строку smtpd_recipient_restrictions = было так:smtpd_recipient_restrictions =
permit_mynetworks,
reject_non_fqdn_hostname,
reject_non_fqdn_sender,
reject_unauth_destination,
reject_unauth_pipelining,
reject_invalid_hostname,
reject_rbl_client list.dsbl.org,
reject_rbl_client bl.spamcop.net,
reject_rbl_client sbl-xbl.spamhaus.org


А станет так:smtpd_recipient_restrictions =
permit_mynetworks,
permit_sasl_authenticated,
reject_non_fqdn_hostname,
reject_non_fqdn_sender,
reject_unauth_destination,
reject_unauth_pipelining,
reject_invalid_hostname,
reject_rbl_client list.dsbl.org,
reject_rbl_client bl.spamcop.net,
reject_rbl_client sbl-xbl.spamhaus.org


После чего делаем команду postfix reload и можно пользоваться почтой снаружи (не забудте указать в почтовом клиенте аутентификацию на отправку - логин-пароль такой же как и на приёме).


Обновлено 28.05.2010 12:22
 

Съём статистики по SNMP с устройств

E-mail Печать PDF

Съём статистики по SNMP с устройств

Автор: lissyara.
Оригинал: http://www.lissyara.su/articles/freebsd/traffic_count/get_switch_statistic_trough_snmp/

Немного предистории, с чего началось всё это. Провайдер мой, начал выкатывать счета за траффик, которые не лезли ни в одни ворота - по моим данным за день полторы-две сотни мегабайт траффика, по его - больше гигабайта. Особенно порадовали выходные - у меня мег с копейками, у него - полторы сотни. Звонил, пытался что-то выяснить, разобраться. В итоге, полуобкуренный товарищ из суппорта заявил мне, - "мы не считаем ваш траффик, мы построили график по предыдущим месяцам, и по нему выставляем счета...". Хорошо я сидел в этот момент.... В итоге написали письмо с требованием разобраться, а я озадачился темой - проверить - то ли я считаю. Может моя считалка где врёт... Раз, так в десять... Вначале накрутил правил в IPFW. C trafd, которым я считал, всё сошлось. Но на этом я не успокоился, вспомнил, что можно считать по SNMP, собственно, так все и делают. Тем более что у меня стоял свич AT-8326GB, шикарная машинка, с WEB-интерфейсом, телнетом, SNMP и поддержкой виртуальных свичей. Оставалось только включить в нём SNMP и найти чем считать. Конечно, для такого есть куча программ, и мильён скриптов. Но - коммунисты не ищут лёгких путей! Поэтому, как обычно, я пошёл своим.
SNMP - Simple Network Management Protocol, он работает над протоколом UDP и позволяет управляющим станциям собирать информацию о положении в сети. Для работы с SNMP устанавливаем NET-SNMP. Почему он? Просто он у меня уже стоял, поставился, когда я устанавливал cacti, когда впервые заинтересовался возможностями протокола SNMP и устройств, его поддерживающих. Если захотите что-то другое, то в портах немало программ способных работать с этипм протоколом, есть модули для PERL и PHP, их можно разыскать там же - в портах.
Ставим NET-SNMP./usr/ports/>cd /usr/ports/net-mgmt/net-snmp
/usr/ports/net-mgmt/net-snmp/>make && make install && make clean


Если Вы хотите и с этой машины снимать инфу - то надо кой-чё поднастраивать, чтоб запускался агент SNMP, в моём случае - ничё не надо делать. Я буду собирать на эту машину инфу, а не с неё.
Ставим перл и модуль ..... /usr/ports/net-mgmt/net-snmp/>cd ../../lang/perl5.8/
/usr/ports/lang/perl5.8/>make && make install && make clean


после чего даём команду rehash и use.perl port. Затем ставим модуль для работы с SNMP/usr/ports/>cd /usr/ports/net-mgmt/p5-Net-SNMP
/usr/ports/net-mgmt/p5-Net-SNMP/>make && make install && make clean


и модуль для работы с MySQL (ставить надо либо универсальный, либо той версии, которой MySQL - я пробовал ставить универсальный, но он за собой потащил MySQL4.1-server, а я пользуюсь 4.0) /usr/ports/databases/>cd p5-DBD-mysql40
/usr/ports/databases/p5-DBD-mysql40/>make && make install && make clean


Теперь, когда всё нужное ПО установлено, можно поковыряться в самом свиче по SNMP. Основные сведения по SNMP достаточно легко найти в рунете, многое интуитивно понятно само. В частности можно расширить сферу применения - мониторить не только траффик но и многое другое - размер дисков, занятое и свободное место, загрузку процессоров.....
Итак, смотрим, что мы можем поиметь, с этого свича (инфы с него лезет реально немеряно - так что пишите всё в текстовый файл, чтоб на досуге разобраться, или если знаете что ищете - разбирайтесь сами). //>snmpwalk -c my_community -v 1 192.168.20.253 .
SNMPv2-MIB::sysDescr.0 = STRING: AT-8326GB
SNMPv2-MIB::sysObjectID.0 = OID: SNMPv2-SMI::enterprises.207.1.4.72
DISMAN-EVENT-MIB::sysUpTimeInstance = Timeticks: (138565036) 16 days, 0:54:10.36
SNMPv2-MIB::sysContact.0 = STRING: телефон 219
SNMPv2-MIB::sysName.0 = STRING: СВИЧ
SNMPv2-MIB::sysLocation.0 = STRING: Серверная, второй этаж
SNMPv2-MIB::sysServices.0 = INTEGER: 2
IF-MIB::ifNumber.0 = INTEGER: 53
IF-MIB::ifIndex.1 = INTEGER: 1
IF-MIB::ifIndex.2 = INTEGER: 2
IF-MIB::ifIndex.3 = INTEGER: 3
IF-MIB::ifIndex.4 = INTEGER: 4
IF-MIB::ifIndex.5 = INTEGER: 5
IF-MIB::ifIndex.6 = INTEGER: 6
^C


Собственно дальше смотреть нечего, у меня оно лезло минут 40... Объём всей инфы, в виде текста, составил 4 мб... Правда полезного там - доли процента (с другой стороны - там всё нужное и полезное, но не мне и не сейчас). Дальше, вытаскиваем интерфейсы, имеющиеся на свиче//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.22
IF-MIB::ifSpecific.1 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.2 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.3 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.4 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.5 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.6 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.7 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.8 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.9 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.10 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.11 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.12 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.13 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.14 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.15 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.16 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.17 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.18 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.19 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.20 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.21 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.22 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.23 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.24 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.25 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.26 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.27 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.28 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.29 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.30 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.31 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.32 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.33 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.34 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.35 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.36 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.37 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.38 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.39 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.40 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.41 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.42 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.43 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.44 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.45 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.46 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.47 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.48 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.49 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.50 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.51 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.52 = OID: SNMPv2-SMI::zeroDotZero
IF-MIB::ifSpecific.53 = OID: SNMPv2-SMI::zeroDotZero


Оказалось 53 интерфейса... Любопытно, портов-то всего 52 (48 на 100 мегабит и 4 по 1000). По здравому размышлению, решил, что один из интерфейсов - это собственно проц приборины. Но вот какой? Логичней всего было б первый, последний, или ровно посредине диапазона. Попал с первого раза - он был последним :) //>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.2.53
IF-MIB::ifDescr.53 = STRING: AT-8326GB CPU Ethernet Network Interface
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.2.1
IF-MIB::ifDescr.1 = STRING: AT-8326GB 10/100 Mbps Ethernet Network Interface 1
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.2.25
IF-MIB::ifDescr.25 = STRING: AT-8326GB 1000 Mbps Ethernet Network Interface 25


И это действительно оказался CPU свича, а не секретный порт, нераспаянный на передней панели :) Смотрим, какие данные можно снять по интерфейсам: //>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.1.1
IF-MIB::ifIndex.1 = INTEGER: 1
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.2.1
IF-MIB::ifDescr.1 = STRING: AT-8326GB 10/100 Mbps Ethernet Network Interface 1
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.3.1
IF-MIB::ifType.1 = INTEGER: ethernetCsmacd(6)
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.4.1
IF-MIB::ifMtu.1 = INTEGER: 1514
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.5.1
IF-MIB::ifSpeed.1 = Gauge32: 100000000
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.6.1
IF-MIB::ifPhysAddress.1 = STRING: 0:c:46:9f:a9:59
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.7.1
IF-MIB::ifAdminStatus.1 = INTEGER: up(1)
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.8.1
IF-MIB::ifOperStatus.1 = INTEGER: down(2)
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.9.1
IF-MIB::ifLastChange.1 = Timeticks: (111215050) 12 days, 20:55:50.50
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.10.1
IF-MIB::ifInOctets.1 = Counter32: 1185896152
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.11.1
IF-MIB::ifInUcastPkts.1 = Counter32: 7447462
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.12.1
IF-MIB::ifInNUcastPkts.1 = Counter32: 1178
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.13.1
IF-MIB::ifInDiscards.1 = Counter32: 0
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.14.1
IF-MIB::ifInErrors.1 = Counter32: 0
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.15.1
IF-MIB::ifInUnknownProtos.1 = Counter32: 0
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.16.1
IF-MIB::ifOutOctets.1 = Counter32: 3490598015
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.17.1
IF-MIB::ifOutUcastPkts.1 = Counter32: 7962148
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.18.1
IF-MIB::ifOutNUcastPkts.1 = Counter32: 82020
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.19.1
IF-MIB::ifOutDiscards.1 = Counter32: 0
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.20.1
IF-MIB::ifOutErrors.1 = Counter32: 0
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.21.1
IF-MIB::ifOutQLen.1 = Gauge32: 192
//>snmpwalk -c my_community -v 1 192.168.20.253 .1.3.6.1.2.1.2.2.1.22.1
IF-MIB::ifSpecific.1 = OID: SNMPv2-SMI::zeroDotZero


Инфы немало. Есть и самое главное, чего ради всё это и затевалось - входящий и исходящий траффик по интерфейсам. Ну, и всякая дополнительная мишура, типа, состояние интерфейса - up или down, размер MTU, скорость, MAC-адрес, сколько было входящих-исходящих пакетов, ошибок, и много ещё чего. Для грамотного изъёма всего этого хозяйства и хранения его в БД был написан следующий скриптик на perl: #!/usr/bin/perl -w

# вводим переменные
# хост, который будем опрашивать
$snmp_host = '192.168.8.253';
# сообщество
$snmp_community = 'derzhava';
# начало МИБ`а
$snmp_part_MIB = '.1.3.6.1.2.1.2.2.1';
# максимальный номер интерфейса
$IF_max = 53;
# MySQL хост
$host = 'localhost';
# MySQL юзер
$user = 'SNMP';
# MySQL пароль
$password = 'SNMP';
# MySQL база данных
$database = 'SNMP';
# подрубаем модуль, отвечающий за SNMP
use Net::SNMP;
# подрубаем модуль для работы с MySQL
use Mysql;

# достаём время
my ($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = localtime time;
$year = $year + 1900;
$mon = $mon + 1;
$unix_time = time;


# Коннектимся к MySQL
$dbh = Mysql->Connect($host,$database,$password,$user);

# Создаём в БД таблицу для хранения итогов
$MySQL_query = "CREATE TABLE IF NOT EXISTS `" . $year . "_SNMP`
(`unic_id` INT(12) NOT NULL AUTO_INCREMENT ,
`SNMP_date` VARCHAR(10) NOT NULL ,
`SNMP_time` VARCHAR(8) NOT NULL ,
`SNMP_unix_time` INT(32) NOT NULL ,
`SNMP_IF` INT(2) NOT NULL ,
`SNMP_IF_speed` int(9) NOT NULL ,
`SNMP_IF_status` ENUM('1','2','3') NOT NULL ,
`SNMP_IF_traff_in` INT(255) NOT NULL ,
`SNMP_IF_traff_out` INT(255) NOT NULL ,
PRIMARY KEY (`unic_id`),
KEY `SNMP_unix_time` (`SNMP_unix_time`),
KEY `SNMP_date` (`SNMP_date`)
)TYPE = MYISAM
COMMENT='Траффик по SNMP за " . $year . " год'";
$dbh->Query("$MySQL_query") or die $Mysql::db_errstr;
# Создаём в БД таблицу для хранения временных данных
$MySQL_query = "CREATE TABLE IF NOT EXISTS `SNMP_tmp_table`
(`SNMP_unix_time` INT(255) NOT NULL,
`SNMP_IF` INT(255) NOT NULL,
`SNMP_IF_traff_in_absolute` INT(255) NOT NULL,
`SNMP_IF_traff_out_absolute` INT(255) NOT NULL
) TYPE = MYISAM
COMMENT = 'Временная таблица для данных SNMP'";
$dbh->Query("$MySQL_query") or die $Mysql::db_errstr;
# Очищаем временную таблицу, после использованием
#$MySQL_query = "TRUNCATE TABLE `SNMP_tmp_table`";
#$dbh->Query("$MySQL_query") or die $Mysql::db_errstr;

# открываем сессию SNMP
($session,$error)=Net::SNMP->session(Hostname => $snmp_host,
Community => $snmp_community);
die "session error: $error" unless($session);
# запускаем цикл по перебору всех доступных сетевых интерфейсов устройства

for($i = 1; $i < $IF_max + 1; $i++){

# строим MIB для трафика
$snmp_MIB_traff_in = $snmp_part_MIB . ".10." . $i;
$snmp_MIB_traff_out = $snmp_part_MIB . ".16." . $i;
$traff_in = $session->get_request("$snmp_MIB_traff_in");
$traff_out = $session->get_request("$snmp_MIB_traff_out");
die "request error: " . $session->error unless(defined $traff_in);
# результаты по траффику
$traff_in = $traff_in->{"$snmp_MIB_traff_in"};
$traff_out = $traff_out->{"$snmp_MIB_traff_out"};

# строим MIB для примечания к интерфейсу
#$snmp_MIB_descr = $snmp_part_MIB . ".2." . $i;
#$IF_descr = $session->get_request("$snmp_MIB_descr");
#die "request error: " . $session->error unless(defined $IF_descr);
# результаты - примечание для интерфейса
#$IF_descr = $IF_descr->{"$snmp_MIB_descr"};

# строим MIB для MTU интерфейса
#$snmp_MIB_MTU = $snmp_part_MIB . ".4." . $i;
#$IF_MTU = $session->get_request("$snmp_MIB_MTU");
#die "request error: " . $session->error unless(defined $IF_MTU);
# результаты - MTU интерфейса
#$IF_MTU = $IF_MTU->{"$snmp_MIB_MTU"};

# строим MIB для скорости интерфейса
$snmp_MIB_speed = $snmp_part_MIB . ".5." . $i;
$IF_speed = $session->get_request("$snmp_MIB_speed");
die "request error: " . $session->error unless(defined $IF_speed);
# результаты - скорость интерфейса
$IF_speed = $IF_speed->{"$snmp_MIB_speed"};

# строим MIB для MAC-адреса интерфейса
#$snmp_MIB_MAC = $snmp_part_MIB . ".6." . $i;
#$IF_MAC = $session->get_request("$snmp_MIB_MAC");
#die "request error: " . $session->error unless(defined $IF_MAC);
# результаты - MAC-адрес интерфейса
#$IF_MAC = $IF_MAC->{"$snmp_MIB_MAC"};

# строим MIB для состояния интерфейса
$snmp_MIB_status = $snmp_part_MIB . ".8." . $i;
$IF_status = $session->get_request("$snmp_MIB_status");
die "request error: " . $session->error unless(defined $IF_status);
# результаты - состояние интерфейса
$IF_status = $IF_status->{"$snmp_MIB_status"};

# лезем в БД с целью достать предыдущие значения счётчиков
# для начала достаём максимальный UNIX TIME для этого интерфейса
$MySQL_query = "SELECT MAX(`SNMP_unix_time`)
FROM `SNMP_tmp_table` WHERE `SNMP_IF`='" . $i . "'";
$sth = $dbh->query("$MySQL_query") or die $Mysql::db_errstr;
@row = $sth->fetchrow;
# достаём данные от предыдущего съёма статистики
$MySQL_query = "SELECT `SNMP_IF_traff_in_absolute`,`SNMP_IF_traff_out_absolute`
FROM `SNMP_tmp_table` WHERE `SNMP_IF`='" . $i . "'
AND `SNMP_unix_time`='" . $row[0] . "'";
$sth = $dbh->query("$MySQL_query") or die $Mysql::db_errstr;
@row = $sth->fetchrow;
# Проверяем что в $row[1] и $row[0]- число или нет
# у меня из-за этого ошибки лезли частенько - два-три
# раза за сутки
if($row[1] =~ /[0-9]/){
# число. Ничего не делаем
}else{
# Там не число. Приравниваем к 0 - будет число
$row[1] = 0;
}
if($row[0] =~ /[0-9]/){
# число. Ничего не делаем
}else{
# Там не число. Приравниваем к 0 - будет число
$row[0] = 0;
}
# проверяем, больше, или меньше текущее значение, чем предыдущее,
# на случай, что счётчики сбрасывались, между измерениями
if($traff_in >= $row[0]){
# всё пучком, счётчик не сбрасывался, считаем разницу
$delta_traff_in = $traff_in - $row[0];
}else{
# счётчик сбросился - данные по этому интерфейсу
# за последнюю минуту считаем пропавшими
#$delta_traff_in = $traff_in;
}
if($traff_out >= $row[1]){
# всё пучком, счётчик не сбрасывался, считаем разницу
$delta_traff_out = $traff_out - $row[1];
}else{
# счётчик сбросился - данные по этому интерфейсу
# за последнюю минуту считаем пропавшими
#$delta_traff_out = $traff_out;
}

# Засовываем данные во временную таблицу
$MySQL_query = "INSERT INTO `SNMP_tmp_table`
(`SNMP_unix_time`,`SNMP_IF`,`SNMP_IF_traff_in_absolute`,
`SNMP_IF_traff_out_absolute`) VALUES ('" . $unix_time . "',
'" . $i . "','" . $traff_in . "','" . $traff_out ."')";
$dbh->query("$MySQL_query") or die $Mysql::db_errstr;

# засовываем даные в постоянную таблицу
$MySQL_query = "INSERT INTO `" . $year . "_SNMP`
(`SNMP_date`,`SNMP_time`,`SNMP_unix_time`,`SNMP_IF`,
`SNMP_IF_speed`,`SNMP_IF_status`,`SNMP_IF_traff_in`,
`SNMP_IF_traff_out`) VALUES
('" . $year . "-" . $mon . "-" . $mday . "',
'" . $hour . ":" . $min . ":00',
'" . $unix_time . "','" . $i ."',
'" . $IF_speed . "','" . $IF_status . "',
'" . $delta_traff_in . "','" . $delta_traff_out . "')";
$dbh->query("$MySQL_query") or die $Mysql::db_errstr;

}

# Отваливаемся от SNMP
$session->close;

# Удаляем из временной таблицы все записи,
# кроме тех, что добавили только что
$MySQL_query = "DELETE FROM `SNMP_tmp_table`
WHERE `SNMP_unix_time`!='" . $unix_time . "'";
$dbh->query("$MySQL_query") or die $Mysql::db_errstr;

1;



Ну, вот и всё. При первом запуске будет ругаться жутким образом - временная таблица пуста, но на первом же запуске он её заполнит, и при следующих должен отрабатывать без ошибок и сообщений. Также после первого запуска нужно очистить, или уничтожить таблицу с именем `ТЕКУЩИЙ_ГОД_SNMP` - он её заполняет содержимым счётчиков, а не разницей между запусками. При следующем запуске он её сделает заново и будет заполнять правильно. В crontab его, и пусть пашет с периодичностью, кому как нравится (мне, вот, раз в минуту нравится.). В вышеприведённом скрипте есть закомментированные места - я их оставил так как есть - может кому понадобиться, да и сам подумываю насчёт более подробной статистики.... Несмотря на всю специфичность скриптика, если у кого-то возникнет необходимость, он достаточно легко рихтанёт его под свои нужды.

P.S. Ненавижу перл.

 

Обновлено 28.05.2010 12:19
 

Подсчет трафика с помощью pf

E-mail Печать PDF

Подсчет трафика с помощью pf
Автор: fr33man
Оригинал: http://www.lissyara.su/articles/freebsd/traffic_count/pfctl/


Решил считать трафик на внешнем интерфейсе. Сначала хотел считать с помощью trafd, но подумал, что лишняя программа в памяти не есть гуд. Второй моей мыслью был snmp, но нагружать машинку еще и snmp запросами я не решился. И тут я вспомнил, что это роутер, на котором стоит packet filter. Считать решил именно pf.

Итак, приступим. Я предполагаю, что pf у Вас уже настроен и работает. Добавляем в pf.conf следующую строку:

set loginterface ng0

Теперь проверяем работоспособность конфига:

shield@/usr/ports/net> pfctl -nf /etc/pf.conf

shield@/usr/ports/net>





И подгружаем правила:

shield@/usr/ports/net> pfctl -f /etc/pf.conf

shield@/usr/ports/net>

Вот и все. Давайте посмотрим, сколько трафика набежало:

shield@/usr/ports/net> pfctl -s info

Status: Enabled for 1 days 23:43:24 Debug: Urgent



Hostid: 0x153793d2



Interface Stats for ng0 IPv4 IPv6

Bytes In 41872728 0

Bytes Out 90656050 0

Packets In

Passed 547083 0

Blocked 29 0

Packets Out

Passed 556623 0

Blocked 2 0



State Table Total Rate

current entries 4

searches 6146672 35.8/s

inserts 3730 0.0/s

removals 3726 0.0/s

Counters

match 3946799 23.0/s

bad-offset 0 0.0/s

fragment 0 0.0/s

short 0 0.0/s

normalize 0 0.0/s

memory 0 0.0/s

bad-timestamp 0 0.0/s

congestion 0 0.0/s

ip-option 0 0.0/s

proto-cksum 0 0.0/s

state-mismatch 0 0.0/s

state-insert 0 0.0/s

state-limit 0 0.0/s

src-limit 0 0.0/s

synproxy 0 0.0/s

shield@/usr/ports/net>





В самом верху видно, сколько байт принято и сколько отправлено.



Могу только добавить, чтобы очистить счетчик можно воспользоваться командой pfctl:



shield@/usr/ports/net> pfctl -F info

pf: statistics cleared

shield@/usr/ports/net>


Я не стал писать полный конфиг pf, так как я сейчас пишу статью про Policy Based Routing и pf. ))

Обновлено 28.05.2010 12:18
 

установка ftp прокси-сервера FROX

E-mail Печать PDF

установка ftp прокси-сервера FROX

Автор: lissyara.
Оригинал: http://www.lissyara.su/articles/freebsd/programms/frox/


Прокси-сервер - это программа, которая принимает запросы пользователя и устанавливает соединение за него. Бывают прозрачные и непрозрачные прокси-серверы. Непрозрачный прокси - это тот, о котором нужно знать, чтобы установить соединение, и для того, чтобы им воспользоваться нужно знать его настройки (адрес, порт, возможно пароль). Запросы идут непосредственно к прокси. Прозрачный прокси сервер невидим для пользователя. Т.е. клиент пытается установить соединение с сервером в интернете (http, www, etc...), но на шлюзе тем или иным способом запросы клиента переадресуются на прокси, который и устанавливает соединение с запрашиваемым сервером. Из плюсов прозрачного проксирования - на клиентской машине не нужно делать вообще никаких настроек - достаточно указать шлюз по-умолчанию, адрес DNS-сервера - и всё работает. Из минусов - на нём нельзя организовать авторизацию пользователей (по крайней мере так у squid`a, являющегося образцом для всех остальных). Плюс обоих видов прокси сервера - в том, что если какой-то файл (а html страничка в конечном счёте - тоже файл, даже если она генерится при запросе, она же может быть сохранена) был один раз запрошен, то при повторном запросе его же прокси сервер шлёт коротенький запрос 304 - была ли она изменена, если нет, то он отдаёт страницу из собственного кэша, чем экономится траффик и ускоряется работа инета (причём ускоряется реально - у меня дома под столом стоит машина с 4.11 фряхой, squid и frox. Я как-то на своём десктопе, под форточками, устанавливал кучу софта на FreeBSD в VmWare. А их у меня там три штуки - так вот на первой он честно всё качал из инета, я заколебался ждать, а на остальных скорость скачивания была 3-4 мегабайта в секунду - отдавали из кэша squid, если файл был по http, или frox, если по ftp. Кстати линия у меня 160 кбит/с - это чуть больше 20-ти килобайт в секунду. Экономия времени получилась приличная, в сумме ему было качать почти 200 мегов...)
Итак. frox - ftp прокси сервер. Может быть как прозрачным, так и непрозрачным.
— Встроенная проверка на вирусы (внешним антивирусом, встроенная в том смысле, что это стандартная опция конфига и не надо плясать с бубном чтобы её привернуть, как у сквида - хотя и для последнего, вроде бы, скоро, icap будет встроенный....)
— Может запускаться сам, а может через inetd (к сожалению в последнем случае функция кэширования не работает, из плюсов остаётся только антивирь).
— ACL (Access Control Lists) - можно настроить кому куда можно, и кому можно вообще.
— Поддержка внешнего редиректора, как в squid (в конфиге так и написано - что идея взята именно из него) - т.е. если что-то не удаётся сделать в конфиге, можно написать свой редиректор, который будет например подменять файлы - чтоб всякую дрянь, типа кино не качали :)
Короче много чего может :). Самое хорошее - внятный и понятный конфиг. Из косяков, на мой взгляд, тока два - первое - не может работать на 127.0.0.1 (его приходится вешать на адрес внутренней сетки), и второе - антивирус при проверке запускается заново для каждого файла. Это особенно актуально на слабых машинах, если файлов много - ждать по 4 секунды (на моём P-I 166MMX) на файл размером в пару килобайт - это вешалка.... На более современных машинах это всё конечно много быстрей, но всё равно медленно. В итоге на работе антивирусная проверка ftp-траффика включена, а вот дома - нет.
Ставить будем из портов./root/>cd /usr/ports/ftp/frox
/usr/ports/ftp/frox/>make && make install && make clean


Вылезает синенькое окошко с опциями, где выбираем то, что нам нужно. Я выбрал:
VIRUS_SCAN
LOCAL_CACHE
CCP
Если Вы пользуютесь ipfilter - то надо выбрать и эту строчку, я же пользуюсь IPFW, поэтому мне она не нужна. Зависимости у него "стандартные", если конечно можно так выразиться:
expat-1.95.8_3
gettext-0.14.5
gmake-3.80_2
libiconv-1.9.2_1
Если до этого что-то из портов ставилось - то всё это уже стоит. Если нет - сам притащит. Чем и хороши порты :). Версия самого его на этот момент: frox-0.7.18
Редактируем /usr/local/etc/frox.conf - только изначальное его нет, надо его скопировать из дефолтового конфига:/usr/ports/ftp/frox/>cd /usr/local/etc/
/usr/local/etc/>cp frox.conf.sample frox.conf
/usr/local/etc/>ee frox.conf


У меня он такой (естественно комментарии все убраны, как и неиспользуемые опции, для краткости и наглядности), для использования прозрачного проксирования:Listen 192.168.0.254
Port 2121
User nobody
Group nogroup
WorkingDir /tmp/frox
DontChroot Yes
LogLevel 25
LogFile /var/log/frox.log
PidFile /var/run/frox.pid
APConv yes
BounceDefend yes
CacheModule local
CacheSize 400
MinCacheSize 1
VirusScanner '"/usr/local/bin/clamscan" "-i" "%s"'
VSOK 0
VSProgressMsgs 30
MaxForks 10
MaxForksPerHost 4
ACL Allow * - *


Если собираетесь использовать антивирусную проверку - то надо установить ClamAV или другой антивирус который будете использовать. Тут я описывать это не буду, т.к. настроек никаких особенных нет, просто отошлю к этой статье, там всё подробно расписано. Что касается остальных настроек - смотрите сам сам файл конфигурации - там много комментариев.
Добавляем в /etc/rc.conf строку frox_enable="YES" и запускаем frox:/usr/local/etc/>cd rc.d
/usr/local/etc/rc.d/>./frox.sh start
Starting frox.
/usr/local/etc/rc.d/>Sat Sep 3 22:59:07 2005 frox[88879] Forked to background
/usr/local/etc/rc.d/>


После чего добавляем такую строчку в файрволл, до natd, там же где и squid:
${FwCMD} add fwd ${IpIn},2121 tcp from ${NetIn}/${NetMask} to any 21 via ${LanOut}
где:
FwCMD="/sbin/ipfw" - бинарник ipfw с путём
IpIn="192.168.0.254" - внутренний IP сервака
NetIn="192.168.0.0" - внутренняя сеть
NetMask="24" - маска внутренней сети
LanOut="fxp0" - внешний интерфейс

Вот и всё. Можно пользоваться.

P.S. Насчёт антивирусной проверки - попробуйте, если скорость устроит, то пользуйтесь. У меня была идея написать скриптик на перле, который ему подсовывать вместо антивируса в строке
VirusScanner '"/usr/local/bin/clamscan" "-i" "%s"', а вот скриптик уже бы скармливал файлы clamd висящему в памяти постоянно. Но - нету времени и перл я не очень хорошо знаю :( Если реализуете - напишите. Ценный скриптик был бы :)

P.S.2 У FROX есть ещё одна проблема - если папка на удалённом сервере названа по русски - на неё не войти...

P.S.3 (2005-11-24) Я прикрутил clamd к frox. Правда убил на это весь день, но всё-таки. Смысл, в общем такой - в конфиге меняем строчку антивирусной программы, должна быть такая VirusScanner '"/usr/local/bin/clamdscan" "--quiet" "%s"'


затем выясняем от кого кто у нас работает:/usr/local/etc/>ps -axj | grep clam
clamav 57255 1 57255 c4569dc0 0 Ss ?? 0:00.01 /usr/local/sbin/clamd
/usr/local/etc/exim/>ps -axj | grep frox
lissyara 63164 29190 29190 c44cc080 1 RV p0 0:00.00 grep frox (csh)
nobody 59762 1 59761 c3808ec0 0 I p1 0:00.00 frox
nobody 59763 59762 59761 c3808ec0 0 I p1 0:00.02 frox
nobody 59765 59762 59761 c3808ec0 0 I p1 0:00.01 frox
/usr/local/etc/>


Выясняется, что они работают от разных пользователей. Надо сделать одного. Мне показалось проще перевести ClamAV на пользователя nobody. Это было ошибкой. На него было слишком много завязано. Тогда вернул всё как было, а вот FROX стал запускать от пользователя clamav, заодно надо поменять права на директорию где хранится его кэш:/usr/local/etc/>chown -R clamav:clamav /tmp/frox
/usr/local/etc/>killall -9 frox
/usr/local/etc/>killall -9 frox
No matching processes were found
/usr/local/etc/>rc.d/frox.sh restart


В итоге всё заработало. Выигрыш в быстродействии - едва ли не на порядок, особенно при копировании мелких файлов - раньше шёл запуск clamav на каждый файл, а теперь их проверяет постоянно висящий в памяти clamd.

Обновлено 28.05.2010 13:45
 


Страница 5 из 6.

  • Вопросы по поводу написанных статей можно обсудить в нашем сообществе в Вконтакте / Questions about written articles can be discussed in our community in Vkontakte Вопросы по поводу написанных статей можно обсудить в нашем сообществе в  Вконтакте / Questions about written articles can be discussed in our community in Vkontakte
Яндекс.Метрика