Hop, un petit aide-mémoire à propos du plugin WP-Table Reloaded pour WordPress sur un serveur avec patch suhosin.
Sur des gros tableaux, impossible de faire la moindre mise à jour en live du tableau, car le patch suhosin limite (c’est son rôle) la taille de certains formulaires, longueurs de noms de variables etc, ou alors, il tronque certains tableaux.
Seul l’import initial se passe bien. Ensuite, c’est la galère.

La solution ?

Il faut régler suhosin plus finement (et non pas le désactiver comme recommandent beaucoup de personnes pour dégager le problème vite fait mal fait).

Pour connaître précisément votre config suhosin sur un site donné, vous pouvez utiliser un appel à phpinfo() en PHP.

Ensuite, sur un site ayant des tableaux de 1500 lignes, j’ai dû, à force d’alertes suhosin dans /var/log/user.log, modifier ces valeurs dans mon VirtualHost :

php_value suhosin.post.max_array_index_length 0
php_value suhosin.get.max_array_index_length 0
php_value suhosin.request.max_array_index_length 0
php_value suhosin.post.max_vars 0
php_value suhosin.get.max_vars 0
php_value suhosin.request.max_vars 0
php_value suhosin.post.max_name_length 0
php_value suhosin.get.max_vars 0
php_value suhosin.request.max_vars 0
php_value suhosin.memory_limit 512M

C’est une première étape qui permet de voir si ça règle bien le problème. Ensuite, il faut affiner pour ne pas tolérer de l’illimité (0), mais des valeurs réalistes.
Il restait un dernier blocage à 1000 lignes, cette fois la conf de base PHP, j’ai modifié ceci puis affiné :
php_value max_input_vars 10000

Un reload Apache et le tour était joué.

On peut donc créer une file spéciale dans le master.cf de postfix et une règle de transport pour ces domaines, avec un débit réduit. Du moment où j’ai rechargé la configuration postfix et relancer le traitement de la file, magie, en 1 heure, les 5000 mails étaient distribués.

Pour ce faire, j’ai utilisé les documentations suivantes et adapté au contexte « configuration postfix définie dans MySQL », comme expliqué dans mes articles précédents, toujours d’actualité.

• http://linuxnet.ca/postfix/dedicated_transport.html
• http://www.zapoyok.info/2011/01/01/orangewanadoo-et-%C2%AB-too-many-connections-slow-down-ofr004_104-104-%C2%BB/

Dans master.cf

slow unix – – n – 5 smtp
-o syslog_name=postfix-slow
-o smtp_destination_concurrency_limit=3
-o slow_destination_rate_delay=1

Dans main.cf

slow_destination_recipient_limit = 20
slow_destination_concurrency_limit = 2

Dans la table « transport » niveau MySQL

Sur une conf « non SQL », il suffirait de jouer avec le fichier de transport, sans oublier le « postmap » qui va bien.
Dans mon cas, le fichier de transport est défini comme ceci : transport_maps = proxy:mysql:/etc/postfix/mysql-virtual_transports.cf.
Donc, pour ajouter une route particulière pour ces 4 domaines, on ajoute en base :

INSERT INTO `transport` (domain, transport)
VALUES (‘wanadoo.fr’,'slow’),
VALUES (‘wanadoo.com’,'slow’),
VALUES (‘orange.fr’,'slow’),
VALUES (‘orange.com’,'slow’)
;

Enfin, on relance postfix et la file d’attente avec ses X messages bloqués avec un postqueue -f.

Monitoring de la file d’attente sous Nagios

Du coup, j’ai trouvé qu’il me manquait une surveillance de la file d’attente « postqueue » d’un serveur via Nagios. Je signale simplement ce script (http://exchange.nagios.org/directory/Plugins/Email-and-Groupware/Postfix/check_postqueue-2Esh/details)
Il semble faire le boulot simplement.
A rapprocher de ce document si l’ajout d’un contrôle via NRPE ne vous est pas familier.

Et voilà.

Packages requis:

• comgt pour gérer la partie code PIN;
• ppp pour la partie connexion à Internet;
• gsm-utils pour la partie envoyer/recevoir des SMS

Problème standard avec les clefs 3g:
Quand on les sorts de l’emballage et qu’on les branche sur un linux, on ne trouve pas la clef (pas de /dev/ttyUSBX, pas de /dev/ttyACMX ou /dev/nzX ou …).
Elles sont vues dans le meilleurs des cas comme un support de stockage ou un CD-ROM que l’on peut monter pour y trouver en général le mode d’emploi, les drivers windows et mac et les petits softs qui vous pourrissent le système.
Avec la Nokia CS-10, on contre ça avec un script et une règle udev qui désactivent et « éjectent » ce périphérique non voulu:
Le script (nokia-zerocd) se mets dans /lib/udev (avec les bons droits: 0755), et est assez basique:

#!/bin/sh
if [ -f /etc/udev/nokia-zerocd-noeject ]
then
exit 1
fi
minor=$(echo $2 | sed ‘s/.[0-9]*\.//’)
major=$(echo $2 | sed ‘s/\.[0-9]*$//’)
if [ "$major" -gt "0" ] || « $minor » -gt « 10″ ]
then
exit 1
fi
exit 0

La régle udev (99-nokia-zerocd.rules) se met dans /etc/udev/rules.d (avec les bons droits: 0644):

SUBSYSTEMS== »usb », SYSFS{idVendor}== »0421″, SYSFS{idProduct}== »060c », ACTION== »add », PROGRAM== »nokia-zerocd %M %s{serial} », RUN+= »/usr/bin/eject -s %k », OPTIONS+= »last_rule »

Il suffit ensuite de recharger les règles udev: sudo /etc/init.d/udev restart.

Maintenant, on peut brancher la clef (où l’on a pensé à insérer la SIM), et elle devrait bien être détectée au bout de quelques secondes (on devrait trouver deux nouveaux devices: /dev/ttyACM0 et /dev/ttyACM1).

Activer/Connecter la carte au réseau 3g:
Cela se fait assez facilement, avec la commande comgt:

# comgt -d /dev/ttyACM0
Enter PIN number: XXXX

Waiting for Regestration..(120 sec max)..
Registered on Home network: « Orange F »,2
Signal Quality: 19,0

Maintenant, on peut se servir de la clef pour envoyer/recevoir des SMS ou se connecter à Internet.

La partie simple: envoyer un SMS

gsendsms -d /dev/ttyACM0 0612345678 « mon message »

La partie plus « complexe »: se connecter à internet

Cette partie est plus complexe parce qu’il faut savoir que ces modems ne supportent pas tous le même jeu de commandes AT, donc, tout ce qui suit ne fonctionnera pas forcément avec d’autres modem (il faudra sûrement adapter le nom du device et une partie des commandes AT qui permettent d’initialiser le modem).

A la fin du fichier /etc/ppp/pap-secrets, ajouter une ligne (adapter en fonction de votre cas):

orange * orange

Créer le fichier /etc/ppp/peers/orange (vous pouvez l’appelez autrement) en pensant à adapter le nom du device, le nom d’utilisateur et le débit du device à votre cas:

ipcp-restart 7
lcp-echo-failure 99
lcp-echo-interval 0
lcp-restart 10
connect ‘/usr/sbin/chat -v -e -f /etc/ppp/peers/orange.chat’
/dev/ttyACM0
460800
crtscts
noipdefault
defaultroute
ipcp-accept-local
ipcp-accept-remote
noipx
noccp
usepeerdns
nodeflate
novj
novjccomp
nobsdcomp
nopredictor1
nopcomp
noaccomp
noauth
user orange

Créer le fichier /etc/ppp/peers/orange.chat (vous pouvez l’appeler autrement, mais penser à modifier le fichier précédent):

 » ATZ
OK-AT-OK « ATQ0 V1 E1 S0=0 &C1 &D2 +FCLASS=0″
OK-AT-OK ‘AT+CGDCONT=1, »IP », »orange-mib », »",0,0‘
OK-AT-OK ‘ATD*99***1#‘
CONNECT ‘\d\c’

ATTENTION!
Le numéro de téléphone n’a manifestement pas d’importance (*99#, *99*1# marcheraient aussi bien) et ne dépend manifestement pas de l’opérateur (il est juste là parce qu’il en faut un), par contre, la commande AT qui permet de le composer peut changer d’une clef et d’un opérateur à l’autre (ATDnum ou ATDTnum en général).
La ligne CGDCONT dépend de votre opérateur et de votre abonnement, à vous de trouver la bonne . Celle de cette exemple marche bien pour un abonnement orange pro avec forfait data.
La première ligne devrait être la même partout, par contre, entre la première et les 3 dernières, ça peut-être totalement différent

Notes en vrac:

• La même chose doit pouvoir marcher en branchant le téléphone en USB et en le configurant en mode modem
• Si vous connecter le téléphone via bluetooth, le device devrait s’appeller /dev/rfcommX
• En GPRS (2g), la vitesse du device est souvent 115200 bauds (pas comme les 460800 de la 3g/umts/hsdpa)

Ca permet de contrôler depuis Nagios tout un tas de choses dans une instance Oracle : hit ratio, nb de sessions, vitesse de remplissage des redo logs, espace libre des tablespaces etc.
Avec ça et Oracle ToolBox que je décris là, y’a de quoi surveiller et optimiser.

L’installation de ce plug-in est assez simple. Le plus dur est d’avoir un environnement PERL/Oracle fonctionnel. Je le décris dans un précédent article, car ça bug un peu.

Installation

Ensuite, il faut simplement récupérer les sources (actuellement cette version), lire le fichier « INSTALL », ce qui revient à taper un classique configure/make/make check/make install et vérifier qu’on obtient bien le binaire dans /usr/local/nagios/libexec/.
Si vous devez créer un utilisateur Oracle dédié pour analyser ces indicateurs, la doc dit de lui donner ces permissions :

serveur:~# sqlplus sys/manager_que_t_as_pas_change_gros_malin@MABASE as sysdba
CREATE user nagios IDENTIFIED BY super_motdepasse;
GRANT CREATE session TO nagios;
GRANT SELECT any dictionary TO nagios;
GRANT SELECT ON V_$SYSSTAT TO nagios;
GRANT SELECT ON V_$INSTANCE TO nagios;
GRANT SELECT ON V_$LOG TO nagios;
GRANT SELECT ON SYS.DBA_DATA_FILES TO nagios;
GRANT SELECT ON SYS.DBA_FREE_SPACE TO nagios;

Test en ligne de commande

Enfin, on l’essaye avec :
/usr/local/nagios/libexec/check_oracle_health
Par exemple :

serveur:~#/usr/local/nagios/libexec/check_oracle_health  --connect nagios/super_motdepasse@MABASE --mode sga-library-cache-hit-ratio
CRITICAL - SGA library cache hit ratio 53.51% | sga_library_cache_hit_ratio=53.51%;98:;95:

Houuuuu, la baffe !

Intégration dans Nagios

Et pour intégrer tout ça dans Nagios, il suffit de jouer avec NRPE en ajoutant les petites commandes qui vont bien dans le fichier /etc/nagios/nrpe_local.cfg. J’en parle déjà ici. Et comme je suis sympa, j’en donne un long exemple en fin de cet article.

Une fois lancé depuis Nagios, alors qu’en utilisateur nagios et ligne de commande, ça marchait bien, je me suis récupéré l’erreur ORA-24327 « need explicit attach before authenticating a user » en sortie de NRPE…
Il manquait des variables d’environnement à passer à l’utilisateur nagios pour le daemon NRPE. Je n’ai rien trouvé plus propre que de modifier le script de lancement du service… (si vous avez mieux, dites moi) :

serveur_nrpe:~# head -30 /etc/init.d/nagios-nrpe-server
#! /bin/sh
#

### BEGIN INIT INFO
# Provides:          nagios-nrpe-server
# Required-Start:    $local_fs $remote_fs $syslog $named $network $time
# Required-Stop:     $local_fs $remote_fs $syslog $named $network
# Should-Start:
# Should-Stop:
# Default-Start:     2 3 4 5
# Default-Stop:      0 1 6
# Short-Description: Start/Stop the Nagios remote plugin execution daemon
### END INIT INFO

PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
DAEMON=/usr/sbin/nrpe
NAME=nagios-nrpe
DESC=nagios-nrpe
CONFIG=/etc/nagios/nrpe.cfg

### JACQUES pour ORACLE/Nagios check_oracle_health
export ORACLE_HOME=/usr/lib/oracle/11.1/client
export PATH=$PATH:$ORACLE_HOME/bin
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
###

test -x $DAEMON || exit 0

blablablababla...

Résultat

A la fin, ouaaa, ça donne ça :

Yapuka corriger la palanquée de problèmes. Où est mon DBA ? ah, y’en a pas, ça promet. Allez, on ressort « Oracle for dummies ».

Annexes

Conf NRPE de tous les tests

Comme je suis sympa, je donne un bout de fichier de conf NRPE au cas où. J’ai simplement fait cracher tous les « modes » (contrôles) possibles en scriptant, histoire de générer ça facilement.

#command[ORAOCTM_tnsping]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tnsping
command[ORAOCTM_connection-time]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode connection-time
command[ORAOCTM_connected-users]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode connected-users
command[ORAOCTM_sga-data-buffer-hit-ratio]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode sga-data-buffer-hit-ratio
command[ORAOCTM_sga-library-cache-hit-ratio]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode sga-library-cache-hit-ratio
command[ORAOCTM_sga-dictionary-cache-hit-ratio]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode sga-dictionary-cache-hit-ratio
command[ORAOCTM_sga-latches-hit-ratio]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode sga-latches-hit-ratio
command[ORAOCTM_sga-shared-pool-reload-ratio]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode sga-shared-pool-reload-ratio
command[ORAOCTM_sga-shared-pool-free]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode sga-shared-pool-free
command[ORAOCTM_pga-in-memory-sort-ratio]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode pga-in-memory-sort-ratio
command[ORAOCTM_invalid-objects]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode invalid-objects
command[ORAOCTM_stale-statistics]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode stale-statistics
command[ORAOCTM_tablespace-usage1]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-usage --tablespace BASEDATA
command[ORAOCTM_tablespace-usage2]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-usage --tablespace BASEIDX
command[ORAOCTM_tablespace-usage3]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-usage --tablespace SYSAUX
command[ORAOCTM_tablespace-usage4]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-usage --tablespace SYSTEM
command[ORAOCTM_tablespace-usage5]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-usage --tablespace TEMP
command[ORAOCTM_tablespace-usage6]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-usage --tablespace UNDOTBS1
#command[ORAOCTM_tablespace-free]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-free
### A séparer en plusieurs tablespace au besoin :
command[ORAOCTM_tablespace-remaining-time]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-remaining-time
###
command[ORAOCTM_tablespace-fragmentation1]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-fragmentation --tablespace BASEDATA
command[ORAOCTM_tablespace-fragmentation2]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-fragmentation --tablespace BASEIDX
command[ORAOCTM_tablespace-fragmentation3]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-fragmentation --tablespace SYSAUX
command[ORAOCTM_tablespace-fragmentation4]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-fragmentation --tablespace SYSTEM
#command[ORAOCTM_tablespace-fragmentatioN5]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-fragmentation --tablespace TEMP
command[ORAOCTM_tablespace-fragmentation6]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-fragmentation --tablespace UNDOTBS1
command[ORAOCTM_tablespace-io-balance1]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-io-balance --tablespace BASEDATA
command[ORAOCTM_tablespace-io-balance2]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-io-balance --tablespace BASEIDX
command[ORAOCTM_tablespace-io-balance3]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-io-balance --tablespace SYSAUX
command[ORAOCTM_tablespace-io-balance4]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-io-balance --tablespace SYSTEM
command[ORAOCTM_tablespace-io-balance5]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-io-balance --tablespace TEMP
command[ORAOCTM_tablespace-io-balance6]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-io-balance --tablespace UNDOTBS1
command[ORAOCTM_tablespace-can-allocate-next1]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-can-allocate-next --tablespace BASEDATA
command[ORAOCTM_tablespace-can-allocate-next2]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-can-allocate-next --tablespace BASEIDX
command[ORAOCTM_tablespace-can-allocate-next3]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-can-allocate-next --tablespace SYSAUX
command[ORAOCTM_tablespace-can-allocate-next4]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-can-allocate-next --tablespace SYSTEM
command[ORAOCTM_tablespace-can-allocate-next5]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-can-allocate-next --tablespace TEMP
command[ORAOCTM_tablespace-can-allocate-next6]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode tablespace-can-allocate-next --tablespace UNDOTBS1
command[ORAOCTM_datafile-io-traffic1]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode datafile-io-traffic --name INDEX01.DBF
command[ORAOCTM_datafile-io-traffic2]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode datafile-io-traffic --name SYSAUX01.DBF
command[ORAOCTM_datafile-io-traffic3]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode datafile-io-traffic --name SYSTEM01.DBF
command[ORAOCTM_datafile-io-traffic4]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode datafile-io-traffic --name TEMP01.DBF
command[ORAOCTM_datafile-io-traffic5]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode datafile-io-traffic --name UNDOTBS01.DBF
command[ORAOCTM_datafile-io-traffic6]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode datafile-io-traffic --name USERS01.DBF
command[ORAOCTM_soft-parse-ratio]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode soft-parse-ratio
command[ORAOCTM_switch-interval]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode switch-interval
command[ORAOCTM_retry-ratio]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode retry-ratio
command[ORAOCTM_redo-io-traffic]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode redo-io-traffic
command[ORAOCTM_roll-header-contention]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode roll-header-contention
command[ORAOCTM_roll-block-contention]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode roll-block-contention
command[ORAOCTM_roll-hit-ratio]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode roll-hit-ratio
command[ORAOCTM_roll-wraps]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode roll-wraps
command[ORAOCTM_roll-extends]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode roll-extends
command[ORAOCTM_roll-avgactivesize]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode roll-avgactivesize
command[ORAOCTM_seg-top10-logical-reads]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode seg-top10-logical-reads
command[ORAOCTM_seg-top10-physical-reads]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode seg-top10-physical-reads
command[ORAOCTM_seg-top10-buffer-busy-waits]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode seg-top10-buffer-busy-waits
command[ORAOCTM_seg-top10-row-lock-waits]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode seg-top10-row-lock-waits
command[ORAOCTM_event-waits]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode event-waits
command[ORAOCTM_event-waiting]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode event-waiting
command[ORAOCTM_enqueue-contention]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode enqueue-contention
command[ORAOCTM_enqueue-waiting]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode enqueue-waiting
command[ORAOCTM_latch-contention]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode latch-contention
command[ORAOCTM_latch-waiting]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode latch-waiting
command[ORAOCTM_sysstat]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode sysstat
command[ORAOCTM_flash-recovery-area-usage]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode flash-recovery-area-usage
command[ORAOCTM_flash-recovery-area-free]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode flash-recovery-area-free
#command[ORAOCTM_sql]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode sql
#command[ORAOCTM_list-tablespaces]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode list-tablespaces
#command[ORAOCTM_list-datafiles]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode list-datafiles
#command[ORAOCTM_list-enqueues]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode list-enqueues
#command[ORAOCTM_list-latches]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode list-latches
#command[ORAOCTM_list-events]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode list-events
#command[ORAOCTM_list-background-events]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode list-background-events
#command[ORAOCTM_list-sysstats]=/usr/local/nagios/libexec/check_oracle_health --connect nagios/super_motdepasse@BASE --mode list-sysstats

Conf Nagios pour appeler ces tests NRPE

La même chose pour le fichier Nagios appelant NRPE :

define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_connection-time
        check_command check_nrpe_1arg!ORAOCTM_connection-time
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_connected-users
        check_command check_nrpe_1arg!ORAOCTM_connected-users
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_sga-data-buffer-hit-ratio
        check_command check_nrpe_1arg!ORAOCTM_sga-data-buffer-hit-ratio
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_sga-library-cache-hit-ratio
        check_command check_nrpe_1arg!ORAOCTM_sga-library-cache-hit-ratio
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_sga-dictionary-cache-hit-ratio
        check_command check_nrpe_1arg!ORAOCTM_sga-dictionary-cache-hit-ratio
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_sga-latches-hit-ratio
        check_command check_nrpe_1arg!ORAOCTM_sga-latches-hit-ratio
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_sga-shared-pool-reload-ratio
        check_command check_nrpe_1arg!ORAOCTM_sga-shared-pool-reload-ratio
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_sga-shared-pool-free
        check_command check_nrpe_1arg!ORAOCTM_sga-shared-pool-free
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_pga-in-memory-sort-ratio
        check_command check_nrpe_1arg!ORAOCTM_pga-in-memory-sort-ratio
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_invalid-objects
        check_command check_nrpe_1arg!ORAOCTM_invalid-objects
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_stale-statistics
        check_command check_nrpe_1arg!ORAOCTM_stale-statistics
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-usage1
        check_command check_nrpe_1arg!ORAOCTM_tablespace-usage1
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-usage2
        check_command check_nrpe_1arg!ORAOCTM_tablespace-usage2
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-usage3
        check_command check_nrpe_1arg!ORAOCTM_tablespace-usage3
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-usage4
        check_command check_nrpe_1arg!ORAOCTM_tablespace-usage4
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-usage5
        check_command check_nrpe_1arg!ORAOCTM_tablespace-usage5
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-usage6
        check_command check_nrpe_1arg!ORAOCTM_tablespace-usage6
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-remaining-time
        check_command check_nrpe_1arg!ORAOCTM_tablespace-remaining-time
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-fragmentation1
        check_command check_nrpe_1arg!ORAOCTM_tablespace-fragmentation1
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-fragmentation2
        check_command check_nrpe_1arg!ORAOCTM_tablespace-fragmentation2
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-fragmentation3
        check_command check_nrpe_1arg!ORAOCTM_tablespace-fragmentation3
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-fragmentation4
        check_command check_nrpe_1arg!ORAOCTM_tablespace-fragmentation4
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-fragmentation5
        check_command check_nrpe_1arg!ORAOCTM_tablespace-fragmentation5
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-fragmentation6
        check_command check_nrpe_1arg!ORAOCTM_tablespace-fragmentation6
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-io-balance1
        check_command check_nrpe_1arg!ORAOCTM_tablespace-io-balance1
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-io-balance2
        check_command check_nrpe_1arg!ORAOCTM_tablespace-io-balance2
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-io-balance3
        check_command check_nrpe_1arg!ORAOCTM_tablespace-io-balance3
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-io-balance4
        check_command check_nrpe_1arg!ORAOCTM_tablespace-io-balance4
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-io-balance5
        check_command check_nrpe_1arg!ORAOCTM_tablespace-io-balance5
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-io-balance6
        check_command check_nrpe_1arg!ORAOCTM_tablespace-io-balance6
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-can-allocate-next1
        check_command check_nrpe_1arg!ORAOCTM_tablespace-can-allocate-next1
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-can-allocate-next2
        check_command check_nrpe_1arg!ORAOCTM_tablespace-can-allocate-next2
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-can-allocate-next3
        check_command check_nrpe_1arg!ORAOCTM_tablespace-can-allocate-next3
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-can-allocate-next4
        check_command check_nrpe_1arg!ORAOCTM_tablespace-can-allocate-next4
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-can-allocate-next5
        check_command check_nrpe_1arg!ORAOCTM_tablespace-can-allocate-next5
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_tablespace-can-allocate-next6
        check_command check_nrpe_1arg!ORAOCTM_tablespace-can-allocate-next6
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_datafile-io-traffic1
        check_command check_nrpe_1arg!ORAOCTM_datafile-io-traffic1
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_datafile-io-traffic2
        check_command check_nrpe_1arg!ORAOCTM_datafile-io-traffic2
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_datafile-io-traffic3
        check_command check_nrpe_1arg!ORAOCTM_datafile-io-traffic3
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_datafile-io-traffic4
        check_command check_nrpe_1arg!ORAOCTM_datafile-io-traffic4
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_datafile-io-traffic5
        check_command check_nrpe_1arg!ORAOCTM_datafile-io-traffic5
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_datafile-io-traffic6
        check_command check_nrpe_1arg!ORAOCTM_datafile-io-traffic6
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_soft-parse-ratio
        check_command check_nrpe_1arg!ORAOCTM_soft-parse-ratio
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_switch-interval
        check_command check_nrpe_1arg!ORAOCTM_switch-interval
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_retry-ratio
        check_command check_nrpe_1arg!ORAOCTM_retry-ratio
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_redo-io-traffic
        check_command check_nrpe_1arg!ORAOCTM_redo-io-traffic
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_roll-header-contention
        check_command check_nrpe_1arg!ORAOCTM_roll-header-contention
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_roll-block-contention
        check_command check_nrpe_1arg!ORAOCTM_roll-block-contention
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_roll-hit-ratio
        check_command check_nrpe_1arg!ORAOCTM_roll-hit-ratio
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_roll-wraps
        check_command check_nrpe_1arg!ORAOCTM_roll-wraps
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_roll-extends
        check_command check_nrpe_1arg!ORAOCTM_roll-extends
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_roll-avgactivesize
        check_command check_nrpe_1arg!ORAOCTM_roll-avgactivesize
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_seg-top10-logical-reads
        check_command check_nrpe_1arg!ORAOCTM_seg-top10-logical-reads
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_seg-top10-physical-reads
        check_command check_nrpe_1arg!ORAOCTM_seg-top10-physical-reads
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_seg-top10-buffer-busy-waits
        check_command check_nrpe_1arg!ORAOCTM_seg-top10-buffer-busy-waits
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_seg-top10-row-lock-waits
        check_command check_nrpe_1arg!ORAOCTM_seg-top10-row-lock-waits
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_event-waits
        check_command check_nrpe_1arg!ORAOCTM_event-waits
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_event-waiting
        check_command check_nrpe_1arg!ORAOCTM_event-waiting
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_enqueue-contention
        check_command check_nrpe_1arg!ORAOCTM_enqueue-contention
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_enqueue-waiting
        check_command check_nrpe_1arg!ORAOCTM_enqueue-waiting
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_latch-contention
        check_command check_nrpe_1arg!ORAOCTM_latch-contention
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_latch-waiting
        check_command check_nrpe_1arg!ORAOCTM_latch-waiting
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_sysstat
        check_command check_nrpe_1arg!ORAOCTM_sysstat
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_flash-recovery-area-usage
        check_command check_nrpe_1arg!ORAOCTM_flash-recovery-area-usage
}
define service {
        use generic-service
        host_name srvnrpe
        service_description ORAOCTM_flash-recovery-area-free
        check_command check_nrpe_1arg!ORAOCTM_flash-recovery-area-free
}

Remarques

J’ai fait le bourrin : un « service Nagios » = un « appel NRPE » = un « lancement de check_oracle_health ». On doit pouvoir fignoler avec des paramètres et le « check_nrpe » normal plutôt que le « 1arg »-ument.

Enfin, vous pouvez détailler chaque test pour les problèmes de verrous, events etc. La liste est méga longue. Vous pourrez facilement scripter pour obtenir la liste de tous les test si vous êtes un bon gros psychopathe.
A base de :

check_oracle_health --blabla -mode list-events | awk ...

et idem pour les sysstats, enqueues, latches etc.
Attention, dans les 3000 tests (de mémoire) et des fichiers de conf Nagios de 10 km de long. C’est passablement crétin de tout mettre d’un coup (bon OK, je l’ai fait quand même, histoire de voir ) car le serveur Nagios accuse un peu le coup.
Je crois de plus que les tests génériques, genre check_oracle_health --mode event-waits sortent en premier les erreur critiques les plus graves. Pas la peine de descendre dans un détail sans fin de check_oracle_health --blabla --mode event-waits --name 687721825 par exemple, ou encore /usr/local/nagios/libexec/check_oracle_health --connect bla/bla@BLA --mode enqueue-waiting --name XR.

Voilà, vous devriez pouvoir sortir un reporting de votre base en 17 tomes, de quoi assomer n’importe quel patron, emmerder un DBA et vous laisser du temps libre.

Pas de problème me direz-vous, c’est le genre de trucs qui traîne chez Oracle.
Oui oui, d’ailleurs je décris son installation dans un précédent article. Dommage, le paquet ainsi installé est nommé « oracle-instantclient11.1-basic » et non « oracle-instantclient-basic ».

Après un peu de Google, n’arrivant pas à forcer l’installation sans respecter la dépendance, j’ai choisi d’installer le module DBD::Oracle (de son petit nom) à la main depuis CPAN (la base des modules PERL pour les autistes adorant PERL <--- troll).
Et là encore, c'est douloureux. Je décris donc ici en bref les commandes à taper pour que ça se fasse tout seul.
Je considère que la doc mentionnée ci-dessus a été suivie, donc vous avez un client Oracle fonctionnel testé avec SQLPlus par exemple.
Let's go.

Symptômes

serveur:/# aptitude install libdbd-oracle-perl
Lecture des listes de paquets... Fait
Construction de l'arbre des dépendances
Lecture des informations d'état... Fait
Lecture de l'information d'état étendu
Initialisation de l'état des paquets... Fait
Lecture des descriptions de tâches... Fait
Les paquets suivants sont CASSÉS :
  libdbd-oracle-perl
0 paquets mis à jour, 1 nouvellement installés, 0 à enlever et 0 non mis à jour.
Il est nécessaire de télécharger 392ko d'archives. Après dépaquetage, 995ko seront utilisés.
Les paquets suivants ont des dépendances non satisfaites :
  libdbd-oracle-perl: Dépend: oracle-instantclient-basic qui est un paquet virtuel
Impossible de trouver une solution à ces dépendances ! Abandon...
Les paquets suivants sont CASSÉS :
  libdbd-oracle-perl
0 paquets mis à jour, 1 nouvellement installés, 0 à enlever et 0 non mis à jour.
Il est nécessaire de télécharger 392ko d'archives. Après dépaquetage, 995ko seront utilisés.
Il n'a pas été possible de résoudre ces dépendances. Vous pouvez les résoudre vous-même ou taper « n » pour quitter.
Les paquets suivants ont des dépendances non satisfaites :
  libdbd-oracle-perl: Dépend: oracle-instantclient-basic qui est un paquet virtuel
Faut-il résoudre ces dépendances manuellement ? [N/+/-/_/:/?]

J’avoue, je n’ai pas réussi à trouver comment forcer le truc – si c’est possible. Car là c’est bête, c’est qu’il ne cherche pas avec le bon nom, si je puis dire. Y’a bien un bug Debian ouvert, je crois, mais à part 2 mecs qui s’engueulent, je n’ai rien vu de constructif.

PERL : La partie totomatique

En tant que root, je lance l’installation de la couche DB de PERL :

serveur:~# perl -MCPAN -e shell

Dans ce shell « perl/cpan », je vérifie et constate que mon module DBI n’est pas installé :

cpan[1]> m DBI
Module id = DBI
...
    INST_FILE    (not installed)

Je l’installe :

cpan[2]> install DBI

S’en suit un long blabla, mais bon, ça s’installe (normalement )
Ensuite, je teste la présence du module DBD::Oracle :

cpan[3]> m DBD::Oracle
Module id = DBD::Oracle
    DESCRIPTION  Oracle Driver for DBI
    CPAN_USERID  DBIML (DBI Mailing Lists )
    CPAN_VERSION 1.26
    CPAN_FILE    T/TI/TIMB/DBD-Oracle-1.26.tar.gz
    UPLOAD_DATE  2010-10-11
    DSLIP_STATUS MmcO? (mature,mailing-list,C,object-oriented,)
    MANPAGE      DBD::Oracle - Oracle database driver for the DBI module
    INST_FILE    (not installed)

Et je ne l’installe pas (car ça déconnera)… je me contente de le télécharger :

cpan[4]> get DBD::Oracle
Running get for module 'DBD::Oracle'
CPAN: Data::Dumper loaded ok (v2.121_14)
'YAML' not installed, falling back to Data::Dumper and Storable to read prefs '/root/.cpan/prefs'
CPAN: Digest::SHA loaded ok (v5.45)
CPAN: Compress::Zlib loaded ok (v2.012)
Checksum for /root/.cpan/sources/authors/id/T/TI/TIMB/DBD-Oracle-1.26.tar.gz ok
Scanning cache /root/.cpan/build for sizes
............................................................................DONE
DBD-Oracle-1.26/
DBD-Oracle-1.26/Changes
et blablablablablabla

On va le compiler juste après.

Environnement Oracle

D’abord, on positionne quelques variables (à adapter suivant votre cas)

serveur:~# export ORACLE_HOME=/usr/lib/oracle/11.1/client
serveur:~# export PATH=$PATH:$ORACLE_HOME/bin
serveur:~# export LD_LIBRARY_PATH=$ORACLE_HOME/lib

PERL : la partie manuelle

Puis je vais compiler à la main le bestiau :

serveur:~# cd ~/.cpan/build/<le rep qui va bien où on voit les sources du module>
serveur:~# perl Makefile.PL
serveur:~# make

Normalement c’est OK.
On peut tester grâce à une règle Makefile sympatique :

serveur:~# export ORACLE_USERID="user/pass@tns"
serveur:~# make test
PERL_DL_NONLAZY=1 /usr/bin/perl "-MExtUtils::Command::MM" "-e" "test_harness(0, 'blib/lib', 'blib/arch')" t/*.t
t/01base................# Test loading DBI, DBD::Oracle and version
t/01base................ok
t/10general.............ok
        2/30 skipped: various reasons
t/12impdata.............ok
.... blablabla
Repetitive connect/open/close/disconnect:
1 2 3 4 5 6 7 8 9 10 (~0.027 seconds each)
test.pl complete.

Youhou

On l’installe et je vérifie que j’ai enfin le fichier Oracle.pm :

serveur:~# make install
serveur:~# find /usr/local/lib/perl/ -name "Oracle.pm"
/usr/local/lib/perl/5.10.0/DBD/Oracle.pm

Ayé, ça marche
Tout ça pour quoi au fait ??? ah oui, installer un p’tit plug-in 3rd-party pour Nagios, qui vérifie une palanquée d’indicateurs Oracle.
Oui, c’est probablement le prochain article à venir.

A part ça, je n’aime pas trop cette méthode car on installer un bout de PERL comme des cochons. Alors la logique des paquets Debian en prend forcément un coup. On verra ça à l’upgrade. Quitte à refaire la même chose avec « la version à jour du moment ».

J’ai un serveur assez puissant sous la main, pratique pour « remuxer » du gros fichier rapidement. Je vous passe les détails
Bref, voilà que je lance tsMuxerGUI à distance (via un déport d’affichage) et plouf, rien. Pas un message d’erreur, rien dans les logs, j’ai mis quelques instants à comprendre pourquoi le programme ne se lançait pas. Alors que le même binaire tourne habituellement bien sur mes autres machines.
Avant de me rappeler que le serveur était en 64 bits. Bah oui, du 32 bits sur une machine 64 bits, de base, ça passe pas hyper bien Mais je tenais à trouver une solution simple.

Alors, la chance dans l’histoire est que le binaire en question est « linké » statiquement (donc il embarque toutes ses éventuelles bibliothèques), la malchance est qu’il n’est pas fourni par l’éditeur en précompilé 64 bits. Reste l’option où je compile le truc (ahah, c’est [potentiellement] chiant), car les sources sont accessibles.

Donc, après un peu de Google, j’ai trouvé les merveilleux paquets « ia32-libs » et, dans le doute, ia32-libs-gtk (vu qu’il s’agit d’une application graphique en GTK, je crois). Ces paquets apportent le minimum pour lancer des binaires 32 bits sur un OS 64 bits, type amd64 ou ia64. Là j’ai un Xeon machin 64 et la Debian qui va avec.
Ca a suffit pour que le binaire tourne. Hop, joie !

Gardez donc ces paquets dans un coin de vos têtes

Principe

On va créer une voie de transport dans postfix afin de « router » les messages de certains utilisateurs vers un pipe particulier appelant procmail dans sa forme à peu près basique.
« procmail » tournera au nom de l’utilisateur gérant les « Maildir » virtuels, utilisateur « vmail » (dans mes docs précédentes) et lira un procmail général avant de passer le relai à un procmail par utilisateur (si besoin), pour trier. En décrivant proprement l’environnement pour procmail, on livrera où il faut dans un Maildir sous « vmail », donc dans un Maildir d’un domain virtuel pour un utilisateur virtuel dans un sous-répertoire de sa boîte Maildir.
Mouais, bon, c’est pas hyper clair, mais ça va le devenir

pipe postfix

Dans /etc/postfix/master.cf, on déclare le « pipe suivant » :

procmailpipe    unix    -       n       n       -       10      pipe
  flags=ROq user=vmail argv=/usr/bin/procmail --m USER=${user} EXTENSION=${extension} NEXTHOP=${nexthop} /etc/postfix/procmail.global.rc

Bien noter le « NEXTHOP » qui nous indiquera le domaine (pratique lorsqu’on en gère plusieurs en virtuel.
Je rappelle que dans ma conf, l’utilisateur hébergeant les boites mails est « vmail », dont le home est /vmailboxes/. On trouve donc là-dedans des répertoires comme /vmailboxes/mon_domaine.com/mon_user/cur|tmp|new et autres sous répertoires commençant par .sous-rep/[cur|new|tmp]/.
Pour accompagner le flag « O » dans ce pipe, la doc postfix indique de bien positionner dans le /etc/postfix/main.cf :

procmail_destination_recipient_limit = 1

Alias d’un utilisateur vers son procmail

Dans mes tables SQL (à priori « transport » et « forwardings »), j’indique ceci :

transport : procmail.mon_domaine.com => procmailpipe
forwardings : mon_user@mon_domaine.com => mon_user@procmail.mon_domaine.com

Ainsi, un mail arrive à mon_user@mon_domaine.com suivra vers mon_user@procmail.mon_domaine.com (qui n’existe pas au sens DNS) et sera donc routé vers le « pipe » postfix nommé « procmailpipe » décrit dans master.cf.

procmailrc global

Le « pipe » postfix ira lire /etc/postfix/procmail.global.rc en passant quelques variables comme on l’a vu.
Dans ce fichier, on trouve exactement ça :

serveur:~# cat /etc/postfix/procmail.global.rc
SHELL=/bin/sh
MAILDIR="$HOME/$NEXTHOP/$USER"
DEFAULT="$MAILDIR/"
#VERBOSE=ON
#LOGFILE="$HOME/procmail/$NEXTHOP.$USER.log"
NL="
"
WS=" "
SWITCHRC="$HOME/procmail/$NEXTHOP.$USER.rc"

Pour NL et WS, c’est une question de séparateur de mot, de ligne etc. (je crois )
Pour VERBOSE et LOGFILE, vous activerez au début quand ça ne fonctionnera pas, afin de pouvoir déverminer.
Toute la beauté du bazar réside en fait dans le « MAILDIR » et « SWITCHRC ».
Dans mon exemple, MAILDIR vaudra :

$HOME = home de vmail = /vmailboxes
$NEXTHOP = procmail.mon_domaine.com
$USER = mon_user

Enfin, on ira lire un fichier procmailrc par utilisateur. Si on ne trouve pas de fichier « /vmailboxes/procmail/procmail.mon_domaine.com.mon_user.rc« , on finira donc directement dans une MAILDIR nommée « /vmailboxes/procmail.mon_domaine.com/mon_user/ » (attention au « / » de fin dans DEFAULT pour indiquer un format Maildir et pas mailbox). Presque parfait me direz-vous car dans mes domaines virtuels hébergés, j’avais prévu « /vmailboxes/mon_domaine.com » et pas « procmail.mon_domaine« .
Je n’ai pas trouvé de variable type NEXTHOP rappelent le domaine d’origine. Par contre un lien symbolique de « /vmailboxes/procmail.mon_domaine.com/ » vers « /vmailboxes/mon_domaine.com/ » règle joliment le problème.

Enfin, procmailrc par utilisateur

J’ai donc regroupé mes différents procmailrc dans /vmailboxes/procmail/
Ces fichiers contiendront donc des règles procmail habituelles, en considérant pour « MAILDIR/DEFAULT » de travail, qu’on est bien placé dans « /vmailboxes/[procmail.]mon_domaine.com/mon_user/« . Ainsi :

:0
* Subject:.*testprocmail
.test/

…ira bien placer votre mail dans le sous-répertoire « test » de l’utilisateur. Donc dans « /vmailboxes/mon_domaine.com/mon_user/.test/new/ »

Débuggage

Pendant la phase de tests, notez que les mails allant dans des Maildir n’existant pas finiront dans le home de l’utilisateur « vmail ». Donc, vous verrez peut-être apparaître /vmailboxes/[cur|new|tmp] et pourrez aller à la pêche.

• Montage d’un serveur complet postfix et outils annexes
• …en y ajoutant des domaines et utilisateurs virtuels
• …et à la limite un répondeur (vacation) sur des utilisateurs virtuels
• …en oubliant la partie roundcubemail (facile à installer, j’ai pas fait d’article, désolé)

Voici maintenant comment « configurer et activer le plugin de changement de mot de passe dans roundcubemail (actuellement v0.4) sur des utilisateurs virtuels (SQL)« . Depuis la 0.4, le plugin est intégré et propre. Pas la peine d’ajouter du code PHP un peu partout.
Notez que le plugin est modulaire et gère des « drivers » pour l’authentification : sql, ldap, poppassd, cyrus/SASL etc.
Allez, let’s go!

Vu que j’avais eu quelques déboires avec les vieilles versions de roundcube, je suis parti sur la dernière release stable du site officiel, pas d’une version packagée Debian.

Toute la doc tient dans un README simpliste, dans vos sources roundcubemail, fichier /plugins/password/README. Mon article applique ceci en expliquant un peu plus…

Je considère que vous partez d’une configuration d’utilisateurs virtuels comme décrite dans mes docs mentionnés en haut de l’article. Sinon il faut adapter et je ne peux pas prédire ce que vous devez écrire .
Dans vos sources roundcube, renommez/copiez le fichier /plugins/password/config.inc.php.dist en /plugins/password/config.inc.php et modifiez uniquement ce qui suit :

$rcmail_config['password_db_dsn'] = 'mysql://admin:son_pass@localhost/ma_base';
$rcmail_config['password_query'] = 'UPDATE ma_base.users SET password=ENCRYPT(%p) WHERE email=%u LIMIT 1';

Dans password_db_dsn, on indique la base de données des utilisateurs virtuels. Puisque l’outil roundcube bosse sur SA base de données, il faudra bien qu’il aille voir autre part. A vous de voir si vous lui donnez l’accès admin à votre base ou un compte sur mesure capable de faire des UPDATE uniquement sur la table des utilisateurs. Ca ou tous les droits, c’est pas foncièrement différent me direz-vous.
Dans password_query, on indique la requête d’UPDATE. Remarques :

• Non, pas la peine d’ajouter un « WHERE… AND password = ENCRYPT(%o) » pour soit disant contrôler que l’ancien pass est le bon. D’une part c’est contrôlé au niveau de la session PHP via une fonction « decrypt » (cherchez dans le code) et d’autre part, ENCRYPT ne produit pas nécessairement le même résultat pour un pass donné, l’histoire du ‘salt’, aléatoire lorsqu’on ne le précise pas (amha).
• On limite à 1 par sécurité et aussi car le plugin gueule s’il n’a pas modifié qu’une ligne. En même temps, il a raison
• Je préfère forcer le nom complet « ma_base.users » pour éviter une erreur, si 2 tables avaient le même nom dans les 2 bases, je pense

J’ai passé sous silence ces 2 paramètres déjà OK de base :

$rcmail_config['password_driver'] = 'sql';
$rcmail_config['password_confirm_current'] = true;

Enfin, on active le plugin dans la conf principale, fichier config/main.inc.php :

$rcmail_config['plugins'] = array('password');

Voilà, c’est tout. Rechargez la page des préférences sur roundcube. Tout ceci étant en PHP, c’est dynamique et vous verrez l’onglet de changement de mot de passe, et il devrait fonctionner

aptitude install samba

L’installation demande si vous faites partie d’un domaine et si vous obtenez des informations sur les WINS via le serveur DHCP
C’est tout.

Ensuite, on configure 3 endroits dans /etc/samba/smb.conf.
Le nom du serveur :

server string = mon super serveur

Le mode d’authentification simpliste :

security = share

Et enfin, on crée nos partages, à la fin du fichier :

[logs]
        comment = Mes logs
        path = /home/user1/logs
        read only = yes
        guest only = yes

Répétez autant de blocs que vous avez de partages.

On recharge samba un coup, et on teste – un reload doit être suffisant :

/etc/init.d/samba reload

Depuis votre Windows, vous accéderez donc à \\le_serveur\logs

Il y a 3 méthodes courantes pour commencer à jouer avec les chroot ssh/sftp :

• Héberger un serveur SSH en chroot normal : c’est chiant. Créer un « home », reproduire un minimum d’arborescence standard, d’utilisateurs etc.
• Utiliser rssh comme shell alternatif, c’est un shell qui limite l’utilisateur à du SFTP, SCP, CVS, RSYNC etc. On choisit ce qu’on veut tolérer. Mais, l’utilisateur peut quand même se promener dans le système (tout « / »).
• Enfin, ce que je vais décrire : utiliser la fonctionnalité de « chroot » intégrée aux serveurs SSH (serveur ssh >= 4.8, donc n’importe quel SSH d’une Debian stable de nos jours). On va simplement brider quelques comptes et mettre quelques permissions bien senties.

Adaptation d’un utilisateur

Le mieux est de prévoir large : on risque d’avoir plusieurs clients/fournisseurs qui voudront accéder.
On va donc créer un groupe des utilisateurs SFTP seulement, nommé « sftpusers ».
Je crée un utilisateur pour mon client, nommé xfer1, en changeant son home :

xfer1:x:1011:1012:Transfert client1,,,:/transferts_partenaires/xfer1/:bin/bash

Notez que le groupe 1012 est le groupe « sftpusers » :

$ id xfer1
uid=1011(xfer1) gid=1012(sftpusers) groupes=1012(sftpusers)

Création du répertoire d’échange, permissions

On crée l’arborescence qui va servir de home bidon à tout ces utilisateurs :

$ mkdir --parents /transferts_partenaires/xfer1/
$ chown -R root:sftpusers /transferts_partenaires/
$ chmod -R 750 /transferts_partenaires/

Les permissions ci-dessus sont hyper importantes. Le serveur SFTP refusera la connexion si le home de ces utilisateurs n’est pas en écriture uniquement pour le root ! Donc oui, en l’état, notre utilisateur xfer1:sftpusers ne peut pas écrire dans son home. Il pourra lire, ce qui peut être suffisant si vous lui mettez simplement des fichiers à disposition. Mais pour écrire, il faudra créer un sous-répertoire, genre « upload ».

mkdir /transferts_partenaires/xfer1/upload/
chown xfer1:sftpusers /transferts_partenaires/xfer1/upload/
chmod 700 /transferts_partenaires/xfer1/upload/

Déclaration du compte en SFTP uniquement

Enfin, on paramètre le serveur SSH comme suit. Modifiez votre fichier /etc/ssh/sshd_config :

# param par défaut, on change : Subsystem sftp /usr/lib/openssh/sftp-server
Subsystem     sftp   internal-sftp -f AUTH -l VERBOSE

# plus loin...
Match Group sftpusers
        ChrootDirectory /transferts_partenaires/%u
        ForceCommand internal-sftp
        AllowTcpForwarding no
        GatewayPorts no
        X11Forwarding no

A noter que les AllowUsers/DenyUsers s’appliquent toujours. L’utilisateur xfer1 – ou plutôt les utilisateurs du groupe sftpusers – doivent être autorisés d’une manière ou d’une autre.
A noter aussi la beauté du geste avec le « %u » pour indiquer le nom de l’utilisateur.

Ensuite vous recharger le serveur SSH et testez les connexions SFTP et SSH-qui-passent-pas, sans oublier la distinction lecture/écriture.

Pense-bête : j’ai un gros .tar sur un serveur, je dois l’extraire sur un autre serveur. MAIS, sur cet autre serveur, je n’ai pas la place pour récupérer le .tar puis le décompresser, c’est-à-dire stocker deux fois en terme d’espace.
Donc j’utilise netcat pour faire un « pipe » entre commande d’une machine à l’autre.

Une fois le programme netcat installé, peu importe par quel biais, et en considérant que vous n’avez pas de restriction réseau entre les 2 machines (sinon ouvrez le port ci-dessous en UDP), vous faites ceci :

Sur la machine cible, on prépare une socket en écoute, ici sur le port 12345 :

moi@destination:/ou/je/veux/ecrire$ netcat -l -p 12345 | tar xvf -

Sur la machine émettrice, on balance la purée dans le tuyau :

moi2@source:~$ cat monfichier.tar | netcat aladdin 12345

A adapter dans le cas d’un fichier .bz2 ou .gz, par exemple.

Recopie d’arborescence d’un serveur à l’autre

Une autre utilisation très courante est la suivante : recopier une arborescence d’un serveur à l’autre, sans utiliser rsync, scp etc. Pourquoi se passer de ces outils ? il y a des cas où on ne les a pas. Et puis là on évite le cryptage, tout ça, charge CPU, blablabla.
Ca donne :

dest$ nc -l p 12345 | tar x

src$ tar cvf - mon_arborescence | nc dest 12345

EDIT : truc bien crade : ça marche aussi pour injecter du SQL…

dest$ nc -l p 12345 | mysql -u monlogin -p

src$ cat test.sql | nc dest 12345

Attention à ce que vous faites là quand même.
Notez qu’au lancement de la commande sur la machine de destination, le mot de passe mysql est demandé tout de suite.

Voilà
A+

Le fix est décrit ici, il faut remplacer votre libpurple.dll par celle-ci. En attendant un repackaging officiel (de Pidgin je suppose, pas d’OpenFire).

Contexte

Je suppose que vous avez un SVN qui tourne. Vous voulez qu’à chaque « commit », un mail soit envoyé à une personne (ou une liste de personnes), contenant tout ce qu’on peut en attendre : message, fichiers impactés etc.
Sur Internet, tout le monde y va de son script en perl, ruby, bash etc. Debian propose un truc tout fait. J’aime bien

Le principe est le suivant : l’outil SVN a déjà tout prévu. Il y a des « hooks » (grappin = bout de code appelable à un instant donné d’une commande SVN) qu’il suffit d’activer. Un tout petit peu de paramétrage et ça roule.

Installez le script-qui-va-bien

Le paquet subversion-tools vous apporte tout un tas de scripts pré-machés (voir /usr/share/subversion/hook-scripts), notamment un pour envoyer un mail bien propre.

Activez le « hook »

Il y a un modèle dans /votre/repo/svn/hooks/, nommé post-commit.tmpl. Copiez-le en post-commit, avec les bonnes permissions (idéalement via cp post-commit.tmpl post-commit).
Editez-le, lisez le baratin et enfin adaptez la dernière ligne indiquant quelle adresse mail est destinatrice (je considère que le serveur hébergeant SVN est capable d’envoyer des mails).
Exemple :

svnsrv:/svn/monrepo/hooks# tail post-commit
# the Subversion repository at
# http://svn.collab.net/repos/svn/trunk/tools/hook-scripts/ and
# http://svn.collab.net/repos/svn/trunk/contrib/hook-scripts/

REPOS="$1"
REV="$2"

/usr/share/subversion/hook-scripts/commit-email.pl \
  "$REPOS" "$REV" mon.adresse@mail.com

Si votre serveur est capable d’envoyer des mails, vous n’avez rien à faire de plus, sinon, il faudra jouer avec la définition des variables $sendmail et $smtp_server (l’une ou l’autre, lisez les commentaires) dans le script /usr/share/subversion/hook-scripts/commit-email.pl.

Enfin, si vous voulez, la ligne de commande accepte plusieurs destinataires (au moins 2, je n’ai pas testé plus ni lu le code pour savoir).

Testez

Normalement, c’est tout. Faire un commit quelconque et voyez le résultat.
J’utilise TortoiseSVN comme client, sous Windows ; ça marche nickel. Si vous vous plantez dans la configuration, Tortoise vous remonte l’erreur indiquant par exemple que le script /usr/share/subversion/hook-scripts/commit-email.pl est KO.

Port knocking :
- tant que votre poste client n’a pas fait une bonne séquence au guichetier (knock-daemon , tel ou tel service est bloqué pour votre IP, via iptables.
- à la fin, vous jouez une séquence pour fermer, ou pas.

Bon j’avoue, je n’ai pas testé. M’enfin, ça doit marcher tout ça. A voir, comme avec le genre fail2ban, si ça ne peut pas être utilisé pour provoquer des dénis de service – le genre je fais bannir/fermer telle IP que je ne suis pas, évidemment.

Ca + du changement de port sur certains services (SSH notamment), et votre machine devrait être une tombe, normalement. Reste les services publics (http…) pour chercher une faille.

(et puis si vous adorez mon site, ce dont je ne doute pas, voici mon flux – façon de parler ; mais je doute que vous aviez besoin de mon aide pour le trouver)

Bonnes vacances

Sur certains sites que j’ai créés sous WordPress, j’utilise certains plugins assez géniaux, comme NextGen-Gallery pour des galeries de photos faciles et jolies et aussi wp-table (et maintenant wp-table-reloaded) pour gérer des tableaux facilement et sans pondre un code bancal (sans compter les fonctions d’import depuis fichiers CSV, tri par colonne etc)

Sur un de mes sites, j’ai hésité à passer en 2.8 suite à une remarque lue par rapport à NextGen-Gallery indiquant qu’on risquait de péter une limite mémoire. Je n’ai donc pas encore testé (manque de temps histoire d’éviter le gros downtime sur le site…)
C’est sur wp-table que j’ai eu un problème, je vous en fais part car la solution est triviale, alors que le problème est de taille.

Lorsqu’on cherche un plug-in pour gérer les tables facilement, sous wordpress, on tombe en premier lieu sur un plug-in nommé wp-table. Si on ne fait pas gaffe, on ne voit pas qu’il est validé pour WordPress 2.3 max… Bon, à part ça, jusqu’à wordpress 2.7 (et même 2.8 bleeding edge), ça tourne bien.
Mais en 2.8 officielle, ça tourne de manière bancale : les tables sont bien intégrées (bonnes balises dans le code) lorsqu’on les voit dans un article. Mais si on les voit en naviguant dans les « catégories » ou « tags » d’article, les balises HTML/CSS ne sont pas positionnées. Résultat, un tableau dégueulasse, du ligne à ligne sans aucune mise en page.

Grosso-modo : le code appelant les vues par catégories et par tags a dû fortement changer et le plug-in n’est pas inséré où il faut en 2.8…

Panique : il faut vite trouver un plug-in correct et exporter/réimporter tout. L’horreur en perspective.
En recherchant cette fois un plug-in potable en 2.8 p our les tables, on tombe sur « wp-table Reloaded » valide en 2.8. Tiens tiens…
C’est carrément extra : après l’installation (wget+unzip+activate, comme d’hab), le menu d’import trouve tout seul les tables crées par le vieux wp-table dont il semble être issu. Vu le nom, remarquez, ça semble presque logique.
Résultat, à part une réindexation des numéros de tables (on recommence à 1) et la balise « table » entre crochets qui change un peu (donc tous les « posts » et « pages » à modifier un peu), le boulot est vite torché.
Reste que le CSS par défaut des tables me semble un peu light.
Le tri par colonne existe toujours, mais il nécessite un plugin JQuery. Je ne l’ai pas encore mis en place, mais ça ne semble pas compliqué.

Si vous connaissez mieux comme plug-ins de galerie photos et de gestion de tables, n’hésitez pas à en faire part. Les notations sur la page de plug-ins de WordPress sont assez légères (en général plusieurs dizaines de votes pour des dizaines de milliers de download), il est donc difficile parfois de voir si un plug-in tient la route ou pas…

Bloggez bien.

    Bonjour à tous,

    Suite à une demande récurrente, et visiblement partagée par un certain nombre d'organisme, nous créons une nouvelle catégorie : "social_networks".

    Elle permettra de filtrer plus spécifiquement les sites de réseaux sociaux, en ne les incluant pas dans des catégories finalement inadaptées.

    Nous essayerons, tant que faire ce peut, de sortir les sites complets des autres catégories (par exemple facebook de la catégorie blog).

    Cordialement 

FIN

Pour faire suite à l’article sur la mise en place de Privoxy pour faire sauter les pubs dans toute votre société (ou chez vous sur votre petit réseau local), voici un complément : le filtre d’URL par catégorie.

J’ai eu l’occasion de jouer avec SquidGuard à travers un serveur IPCOP mis en place par mes soins dans l’école primaire de mon village, avec la bénédiction du Ministère de l’Education. Ca marche pas mal, il faut avouer. N’ayant pas de moyen, une école optera certainement pour des listes de filtrages gratuites. Si une seule était à retenir, ce serait celle de l’Université de Toulouse.

Deux objectifs possibles :

• éviter les abus en entreprises :sites sociaux à la facebook, vidéos à gogos, porno et autres contre-productivités sur le clavier etc…
• filtrer les sites pour vos enfants (lisez ça aussi, ça donnera d’autres pistes)

Mise en place sur Debian

Installation et docs de base

Contrairement à pas mal d’outils sous Debian, l’installation ne fait rien en soit, elle amène simplement de l’outillage et la plus grosse part est après.
Commencez par installer le logiciel, via un classique aptitude install squidguard.
Evidemment, votre squid est déjà en place et fonctionnel.

Pensez à lire le fichier /usr/share/doc/squidguard/README.Debian ; c’est d’ailleurs une règle générale après une installation de paquet Debian, mais surtout pour SquidGuard qui, après l’installation, ne fait rien tout seul.

Principes de fonctionnement

Je décris le principe avant de foncer la tête dans le guidon.

SquidGuard est simplement une sorte d’extension à base de scripts et d’ACL Squid pour filtrer des URL en se basant sur des domaines et des expressions régulières d’URL
Lui même n’apporte aucun niveau de filtrage et il faudra aller chercher une liste à jour de sites. C’est là toute la difficulté.
J’arrête tout de suite ceux qui pensent bloquer facebook.com en écrivant une ACL bidon genre deny blabla facebook.com dans Squid. Entre les sites genre how-to-un-unblock-facebook.com et les « redirectors » genre proxies anonymes, ce sera impossible. D’où l’aide de listes, payantes ou non, robotisées ou non, mises à jour régulièrement ou non.
Soit vous payez une liste type urlblacklist.com, soit vous optez pour une gratuite, mais néanmoins efficace, comme celle de l’Université de Toulouse, cf. plus haut. Sinon, allez voir là – je n’ai pas testé les 2 premiers liens.

La README évoqué ci-dessus parle d’un paquet « chastity-list », apt-cache search chastity n’ayant rien donné, je n’ai pas cherché plus loin.

Une fois la liste choisie, vous obtiendrez généralement des fichiers textes, classés par catégories. Il faut les transformer en base de données type Berkeley-machin (fichiers .db) pour qu’ils soient efficaces en mémoire.
Ce sera évidemment à scripter automatiquement toutes les nuits (nouvelles listes => nouveaux .db => rechargement de Squid).
A noter que les fichiers .db seront générés par SquidGuard uniquement lorsqu’il verra que vous utilisez telle ou telle catégorie dans /etc/squid/squidGuard.conf. SquidGuard n’ira pas compiler les bases inutilisées (ce qui prend du temps sur des grosses listes, genre « adult » (=porno))

Enfin, vous ajouterez les catégories qui vous intéressent en ayant pris soin de créer une belle page qui indique à l’utilisateur pourquoi tel site est bloqué (je suis sympa, je vous fournis un tel script minimaliste ; en gros une correction de celui fourni dans le package SquidGuard qui est passablement foireux)

Je ne parle pas des aspects communication en entreprise : filtrer les sites aura sûrement un impact important sur le moral des troupes, fonction du gain de bande passante, fonction de la productivité

Mise en place pratique

J’illustre la suite par le blocage de la catégorie « hacking », où l’on pourra tester par exemple www.warez.com, à partir des listes de l’Université de Toulouse

Récupération de la liste de l’Université de Toulouse

La base : récupérez soit une catégorie, soit la totalité (je pars sur cette option). Voyez l’explication de chaque catégorie ici.

mkdir /root/squidguard
cd /root/squidguard
wget ftp://ftp.univ-tlse1.fr/blacklist/blacklists.tar.gz
tar xzvf blacklists.tar.gz
mv blacklists/* /var/lib/squidguard/db/
chown -R  proxy:proxy /var/lib/squidguard/db/

Choix d’une catégorie

Dans /etc/squid/squidGuard.conf, on va toucher le minimum. Ajoutez n’importe où :

dest hacking {
   domainlist hacking/domains
   urllist hacking/
   log guard_hacking.log
}

Pour savoir si une catégorie contient des « domaines », des « URL » ou des « expressions », allez voir dans /var/lib/squidguard/db/la_categorie/. En effet, seules quelques catégories ont des « expressions », il s’agit avant tout des catégories de pubs. Je considère que privoxy est là pour ça. Donc je n’ajoute pas expression hacking/expressions (même pas sûr de la syntaxe). Pour m’assurer que les « expressions » sont utilisées uniquement pour la pub, j’ai fait ça et vu des fichiers de taille 0 ou non-existant pour la plupart des catégories :

srv:/var/lib/squidguard/db# ls -l */expres*
-rwxr-xr-x 1 proxy proxy  57 2006-05-10 07:47 ads/expressions
-rw-r--r-- 1 proxy proxy   0 2005-10-18 16:51 adult/expressions
-rw-r----- 1 proxy proxy   0 2002-11-06 14:08 aggressive/expressions
-rw-r----- 1 proxy proxy   0 2002-11-06 14:08 agressif/expressions
-rw-r--r-- 1 proxy proxy   0 1999-03-04 08:07 forums/expressions
-rw-r--r-- 1 proxy proxy   0 1999-03-04 08:07 mail/expressions
-rw-r--r-- 1 proxy proxy  42 2009-03-19 10:42 malware/expression
-rw-r--r-- 1 proxy proxy  47 2009-03-20 13:30 malware/expressions
-rw-r--r-- 1 proxy proxy   0 2005-10-18 16:51 porn/expressions
-rw-r--r-- 1 proxy proxy   0 1999-10-06 17:37 proxy/expressions
-rwxr-xr-x 1 proxy proxy  57 2006-05-10 07:47 publicite/expressions
-rw-r--r-- 1 proxy proxy   0 1999-10-06 17:37 redirector/expressions
-rw-r--r-- 1 proxy proxy 123 2005-06-14 21:33 strict_redirector/expressions
-rw-r--r-- 1 proxy proxy 505 2006-05-23 22:05 strong_redirector/expressions
-rw-r----- 1 proxy proxy   0 2002-11-06 14:08 violence/expressions
-rw-r--r-- 1 proxy proxy   0 1999-04-19 14:04 warez/expressions

Ensuite, on indique à SquidGuard (donc à Squid) comment réagir pour cette catégorie. Modifier la section acl {} du fichier /etc/squid/squidGuard.conf pour qu’il y ait ça (gardez ou non la palanquée de lignes de commentaires) :

acl {
   default {
      pass !hacking all
      redirect http://srv/cgi-bin/squidGuard-simple.cgi?clientaddr=%a&srcclass=%s&targetclass=%t&url=%u
   }
}

Si vous voulez bloquer plusieurs catégories, ce sera à base de pass !hacking !adult !blabla all.
Notez dans la section acl {} l’adresse de redirection utilisée : une page spéciale hébergée sur le serveur, nommée squidGuard-simple.cgi. Il faut maintenant la mettre en place.
A noter aussi, il me semble que de base, la ligne « redirect » contient des « + » à la place des « & » pour passer les arguments. J’ai pas bien pigé, j’ai toujours vu des « & » et avec les « + », ça ne marchait pas.

Redirection vers une page spéciale

• Attention, j’ai ouï dire que si le script n’était pas là, ça passait silencieusement et la requête aboutissait malgré la demande de blocage. Je n’ai pas testé, j’ai surtout testé une URL de chaque catégorie que je suis censé bloqué.
• Je considère que votre site web est configuré pour que /cgi-bin/ soit en un « Alias » de « /usr/lib/cgi-bin/ », c’est en général défini dans la configuration par défaut d’Apache2 et vous pouvez vous en assurer rapidement avec cette commande grep cgi-bin /etc/apache2/sites-enabled/* pour voir si ça répond – en gros.
• La liste des variables que l’on peut passer au script de redirection est donnée dans la doc HTML, /usr/share/doc/squidguard/CONFIGURATION.html

Deux scripts sont fournis par le mainteneur du paquet Debian pour nous donner une trame pour l’écriture du script de redirection – le script qui dira « accès bloqué blabla, si vous pensez que c’est une erreur, contactez l’administrateur blabla ». Ils sont là :

srv:/var/lib/squidguard/db# dpkg -S squidGuard*.cgi
squidguard: /usr/share/doc/squidguard/examples/squidGuard.cgi.gz
squidguard: /usr/share/doc/squidguard/examples/squidGuard-simple.cgi.gz

Le premier est apparement plus complet, prévu pour du multi-langues etc, mais récupère comme un pied les variables qu’on lui passe. J’ai opté pour l’autre car rapidement, j’ai pu mettre en place une page qui indiquait clairement et simplement le site bloqué, la catégorie, l’IP du demandeur et donnait le mail de contact de l’administrateur.
Donc soit vous optez pour ces scripts, soit pour le mien fourni ici, basé sur le 2è script, traduit en français et épuré de certains trucs inutiles. Voyez :

On est fin prêt pour un test grandeur nature.

Relance de Squid via la compilation des listes de blocage

Lancez la commande /usr/sbin/update-squidguard pour contrôler les droits sur les fichiers de /var/lib/squidguard/db/ et générer les .db.
Attention, sur la liste « adult » (environ 1 million de domaines), ça peut prendre quelques minutes.
Ce script recharge Squid.
Testez un site de la catégorie « hacking », exemple www.warez.com

Script de mise à jour automatiques des listes

Voici un script que j’ai mis en crontab pour automatiser la récupération de la liste de l’Université de Toulouse (si mise à jour), la mise à jour qui va bien, création de .db et relance de Squid.

srv:~# cat /root/squidguard/update_toulouse.sh
#!/bin/sh
cd /root/squidguard
wget -N ftp://ftp.univ-tlse1.fr/blacklist/blacklists.tar.gz
rm -rf blacklists
rm -rf /var/lib/squidguard/db/*
tar -xzvf blacklists.tar.gz
# proprio et perm fixées de toute manière par update-squidguard
chown -R proxy:proxy blacklists
mv blacklists/* /var/lib/squidguard/db/
/usr/sbin/update-squidguard
# A priori, si le site est down ou connx internet HS, on reutilisera le .tar.gz actuel
# donc pas de risque de se retrouver avec une base vide

Mettez les droits d’exécution via chmod u+x /root/squidguard/update_toulouse.sh et collez ça dans la crontab :

0 3 * * 1-5     root    /root/squidguard/update_toulouse.sh

Ca devrait rouler !

Divers

Log des accès interdits

J’ai passé sous silence la ligne « log guard_hacking.log ». Elle est optionnelle et permet de garder ou non une trace des accès interdit, par catégorie. A voir, vie privée des gens, tout ça. J’ai choisi de la nommer quelque_chose.log car ce fichier ira directement dans /var/log/squid/ et sera donc « logrotaté » naturellement comme tous les logs Squid, via ce qu’on trouve en standard dans le logrotate de Squid, /etc/logrotate.d/squid, à savoir : /var/log/squid/*.log
Vu ?

Plages horaires

Vous noterez que la conf simpliste ici peut être étoffée, dans le fichier /etc/squid
/squidGuard.conf, vous avez tous les commentaires nécessaires, notamment pour faire du [dé]blocage par plages horaires.

D’autres compléments pour Squid ?

Après Privoxy, il faudrait un 3è article maintenant sur HAVP. Je vais y penser éventuellement.

Générer la conf pour toutes les catégories

Ne réutilisez pas le résultat brutalement, vous bloqueriez même Google, car il est listé dans ce qui ressemble plus à une whiteliste propre à l’Université de Toulouse, la catégorie « liste_bu ».
Afin d’obtenir la liste complète des déclarations de catégories pour squidGuard.conf, vous pouvez utiliser celà :

srv:/var/lib/squidguard/db# for i in `find . -maxdepth 1 -type d|awk -F'/' '{print $2}' | sort`
do
	echo -e dest $i {
	echo -e \\t"domainlist $i/domains"
	echo -e \\t"urllist $i/urls"
	echo -e \\t"log guard_$i.log"
	echo }
done

Allez zou, mise en place de la chose sur un serveur avec Squid, pour en faire profiter tout le monde.

Quelques remarques par rapport à Debian

Je ne connais pas trop le rythme d’update des règles de privoxy. Ce que j’en ai compris, c’est qu’elles sont intégrées au package privoxy. A mon sens, ça devrait être dissocié, par exemple dans le dépôt « volatile ».
Ca ne l’est pas. Et comme les pubs évoluent, j’ai un peu hésité.

EDIT : j’ai changé d’avis sur ce qui suit : j’ai pris la version officielle Debian. Cf. les commentaires

Finalement, j’ai opté pour la version packagée Debian sur le site de privoxy plutôt que la version officielle dans la « stable ». Moins pratique pour mettre à jour, mais je n’aimerais pas qu’un nouveau genre de pubs ne soit pas filtré ou à l’inverse, trop de coups de haches sur certains sites.
En « stable », on est en 3.0.9 si je ne dis pas de bêtise, contre 3.0.12 en .deb sur le site.

J’ai aussi essayé de trouver une méthode facile pour convertir les expressions régulières d’Adblock Plus pour privoxy. J’ai lâché l’affaire. Si quelqu’un sait faire, ça peut être intéressant.

Quelques chiffres après 2 semaines d’utilisation

Histoire de mettre l’eau à la bouche. 100 personnes surfant raisonnablement ont vus (façon de parler) 10% de leurs requêtes bloquées par privoxy. C’est toujours ça d’économisé, mais c’est surtout le gain sur la pollution visuelle qui vaut le coup.
Je n’ai pas vu de différences sur quelques sites où j’avais l’habitude d’aller via « Firefox+AdBlockPlus » par rapport à « n’importe quel navigateur+privoxy sans adblock plus évidemment ».

Mise en place sur Debian

Installation

Installez donc le package Debian , précédemment téléchargé, avec la commande suivante :

dpkg -i privoxy_3.0.12-1_i386.deb

Paramétrage et tests de base

Tout se passe dans /etc/privoxy/config. Vous n’avez qu’une chose à modifier pour tester votre privoxy en direct :

listen-address  localhost:8118

Si le service est sur un serveur (et pas votre PC), changez « localhost » en « * » ou l’IP de la machine sur le LAN et relancez via /etc/init.d/privoxy restart
Bien sûr, il faut indiquer à votre navigateur d’utiliser le proxy sur cette machine, port 8118.
A la fin : faites bien attention à la valeur choisie (ou à vos règles de firewall si elles filtrent l’accès au serveur squid/privoxy), il ne faudrait pas qu’un utilisateur puisse adresser en direct privoxy en court-circuitant squid…

Interco avec Squid

La doc officielle de privoxy dit de chaîner dans l’ordre : PC -> squid -> privoxy
Il doit y avoir une raison, peut-être pour ne pas court-circuiter les éventuelles ACL de Squid, qui permettraient par exemple un certain traitement suivant l’IP source de la requête.
Bon bref, c’est donc au niveau de Squid qu’il faut paramétrer. Cherchez le mot « squid » dans la doc http://www.privoxy.org/user-manual/config.html. En résumé, ajoutez où il faut dans /etc/squid/squid.conf :

cache_peer 127.0.0.1 parent 8118 7 no-query
acl ftp proto FTP
always_direct allow ftp
never_direct allow all

Dans l’exemple, 127.0.0.1 indique que privoxy est sur la même machine que squid, sinon mettez l’IP de privoxy, et son port, par défaut 8118.
A noter que squid fait proxy FTP dans mon exemple, sinon adaptez.
Relancez squid, un /etc/init.d/squid reload doit suffire.

Pour voir les stats vite fait

http://p.p/
Ca peut servir pour configurer l’outil aussi, si vous avez activé ce qu’il faut
Evidemment, vous serez gentils de whitelister michauko.org. Je me suis pas tapé la mise en place de Google AdSense pour rien ouais bon, ça va… c’est pour financer un jour quelques mois de mon serveur…

A suivre

L’article SquidGuard, l’ami de Squid quand l’accès Internet est un peu trop surchargé par 99% d’inutile.

Les basiques :

• file : permet d’identifier un type de fichier, notamment, pour du texte brut, s’il est encodé en ISO-machin ou en UTF-8. A noter, si le texte en question est à l’intérieur d’un script, enfin bref, de quelque chose enrobant ce texte, « file » se limitera à détecter le type de script, par exemple. Dans ce cas, extraire le texte en question dans un fichier à part (via des « grep ») afin d’analyser l’encodage de ce texte. J’ai pas trouvé plus simple
• dos2unix : conversion des fins de lignes DOS (2 octets \010\013 (ou l’inverse) en un seul (\010 ou l’autre, je ne sais jamais . Si vous êtes passés par un transfert FTP type ASCII, c’est fait totomatiquement. Mais en SFTP ou autre chose, niet.
• unix2dos : devinez

Ensuite :

• tcs : permet de convertir un fichier encodé avec un charset vers un autre, exemple : tcs -f 8859-1 -t utf source > dest. Faites des « file » ensuite pour voir.
• rxp : valide la syntaxe XML (et l’encodage utilisé) d’un fichier XML
• od : affiche en hexa, ascii, octal (etc) un fichier. On peut cumuler et mettre en parallèle l’ascii avec l’hexa, par exemple

Voilà, c’est tout.

Présentation du contexte

Le but de cet article de montrer à des noob’ de l’Active Directory (comme moi) comment connecter un outil sous Linux à un AD, sans trop connaître la structure d’un AD. Ca peut s’avérer pratique dans bien des cas d’outils très performants sous Linux mais pour lesquels on a besoin de « la base des utilisateurs Windows pour éviter la double déclaration des comptes et les mots de passes différents pour chaque appli ». Vous voyez le principe ?
L’autre but est de montrer un outil qui permet de s’y retrouver facilement dans un AD.

J’ai choisi OpenFire car mes dernières expériences avec ejabberd ne m’ont pas convaincues. OpenFire (anciennement WildFire) est super propre d’interface et est distribué par une entreprise, « Jive Software »
Connectable sans peine à des LDAP, dont AD (et OpenLDAP, Novell etc), c’est un bon cas d’école.
Pour les psychos, ça reste une application publiée sous licence GPL tout de même.

Sur le site de l’éditeur, ils proposent le serveur OpenFire packagé pour Redhat, Debian, Windows, Mac etc.
Je passe sur l’installation, (sous Debian dpkg -i openfire*deb)
Ensuite tout se passe par le web, à l’adresse http://votre.serveur:9090/

La conf AD, LE outil merveilleux pour ne pas s’y perdre

Quelques remarques :

• Les étapes de configuration sont relativement simples, je zoome uniquement sur la partie AD
• J’ai opté pour une base de données embarquées, « volatile »
• A noter d’ailleurs que pour sauvegarder la conf de votre serveur OpenFire, vous n’aurez besoin – si je ne dis pas d’ânerie – que de /etc/openfire/ et de /var/lib/openfire/embedded-db/openfire.script qui est le script de création de base à la volée (au lancement du service). Attention, il contient des mots de passe sensibles en clair, comme l’admin AD…. de base, le package Debian est propre et prive les accès à openfire:openfire, chmod à base de 770/660

Bon, une fois l’installation un peu déroulée, arrivent les premières étapes de configuration de l’AD. Et là, je ne saurais trop vous recommander l’excellent outil de l’excellent sysinternals.com Microsoft nommé « Active Directory explorer« , qui, pour chaque noeud que vous visitez dans l’AD, vous donne sa syntaxe complète et pour chaque élement, les noms des attributs, pas leur libellé. Du bonheur en barre. Exemple, je localise mes utilisateurs :

J’injecte ça dans la conf OpenFire :

Ensuite, sur l’écran suivant qui consiste à indiquer quel sous-ensemble des utilisateurs pourra s’authentifier, j’utilise encore l’ »AD Explorer », je repère quel champ caractérise mes utilisateurs réels des comptes systèmes et autres comptes qui ne sont pas des gens de la vraie vie :

L’idée était ensuite dans mon cas de restreindre l’accès au service à un certain groupe d’utilisateurs, à savoir les « Correspondants Informatiques », j’ai modifié la valeur standard de filtre utilisateur pour refléter mes choix :

Pour celà, vous repérerez que le champ « memberOf » indique tous les groupes d’appartenance des utilisateurs, bref, vous modifiez le filtre pour y ajouter un (memberOf=CN=blabla,blabla,DC=blabla,DC=com).
Ainsi, seuls les utilisateurs de ce groupe seront pris en compte lors de l’authentification par AD.
Enfin, le bas du tableau permet de « mapper » les champs de l’utilisateur aux infos personnelles visibles via Jabber. Faites votre marché, utilisez le bouton « test » en bas pour voir si ça récupère ce qu’il faut comme il faut.

Ensuite, dans mon cas, le tri des utilisateurs en groupe était le bon par défaut :

Et, dernière étape, déclarer des comptes admin parmi les comptes AD existant. Mettez votre compte car la modif à la main est moins simple (éditer le champ admin.authorizedJIDs dans les fichiers de conf de la base embarquée)

Voilà…
Une fois connecté à la console d’admin, allez voir la liste d’utilisateurs, vous devriez trouver uniquement le sous-ensemble sélectionné, « Correspondants Informatiques » dans mon cas.

Les clients

Vous pourrez utiliser pidgin ou le client de l’éditeur d’OpenFire, Spark – ou même sa version web pour éviter de déployer la moindre application. Ou tout autre client XMPP.
Ou faites votre choix là : http://en.wikipedia.org/wiki/List_of_XMPP_client_software

Le contexte

J’installe une Debian stable (Lenny) par le réseau (netinst) sur une machine « trop récente » (DELL Optiplex 760) équipée du dernier chipset Intel ICH10 (ou ICH9, j’ai trouvé des infos contradictoires sur Google, à vrai dire, je m’en cogne). Souci : carte réseau non gérée, ce qui est passablement gênant pour une installation par le réseau.

Je décris ici 3 méthodes pour s’en sortir (2 méthodes théoriques et celle que j’ai utilisée pour s’en sortir facilement).

Méthode 1 : je compile

Sur Google, on tombe rapidement sur des types expliquant comment compiler le driver fourni par Intel sur son site (driver e1000e, dernier en date : e1000e-0.5.18.3.tar.gz)
Le problème dans le cas qui m’intéresse est que je n’ai pas tous les outils de compilation sur une « Lenny netinst », il manque « make » par exemple. Déjà on a les « headers » du noyau, c’est bien.
J’ai voulu compiler sur une autre machine Lenny Stable, mais, elle avait un minimum de vécu et notamment un kernel 2.6.28 mis à jour (le -2 et pas le -1 du dernier CD Lenny officiel en date).
Donc j’avais des doutes sur la simplicité de la manip, genre : rebooter la machine de compilation en 2.6.28-1, compiler, injecter ce driver sur ma machine cible, mettre à jour l’OS (donc le noyau en 2.6.28-2) en descendant les outils de compilation et rebooter en 2.6.28-2 pour recompiler à nouveau. Chiantissime.

A noter aussi qu’on tombe sur des articles flippants comme quoi les noyaux avant 2.6.27-14 (de tête) ont un driver pourri et on risque de tout casser (physiquement, si j’ai bien lu en diagonale)

Méthode 2 : je cherche un .deb

Je ne connais pas de liste super géniale de paquets non-officiels pour Debian (à part les classiques backports, apt-get.org etc). Bref, je n’ai pas trouvé un mec sympa pour me filer un .deb qu’il aurait fait pour le noyau qui m’intéresse / pour les noyaux en fait, puisqu’il y a un upgrade qui guette (cf. méthode 1)
Bref, pénible là aussi.

Méthode 3 recommandée : je change de noyau

L’autre méthode fût de voir que le noyau disponible en « SID unstable » (noyau 2.6.29-xxx) contenait un driver à jour pour ma carte réseau.
Comme le noyau n’a pas beaucoup de dépendances à respecter et qu’il y a un meta-paquet englobant le noyau (linux-image-2.6-686), ça m’a paru être une bonne méthode pour installer facilement ce driver tout en restant dans les clous vis-à-vis des outils d’update du système.
Solution plus propre que de créer son .deb à l’arrache je trouve

J’ai donc été cherché les paquets suivants : linux-image-2.6-686 pour SID (un meta-paquet) et le noyau, le vrai, le 2.6.29-1 à ce jour sur SID

Ensuite, j’ai ramené ça par clef USB (forcément, le réseau est mort…) et ai exécuté un dpkg -i linux-image*deb dans le répertoire où j’avais stocké tout ça.
GRUB a fait le reste automatiquement.

Enfin, une fois rebooté, comme j’avais forcément un peu zappé la configuration réseau lors de l’installation, il faudra aller injecter le minimum, par exemple :

user@opti:~$ cat /etc/network/interfaces
[...]
auto eth0
iface eth0 inet dhcp

puis initialiser la carte réseau : ifup eth0
Voilà, ça devrait le faire