Déc 092011
 

Il y a des fois ou on aimerait bien reprendre ses comptes en main, et analyser le tout au travers d’un tableur par exemple.

je suis à la banque CIC et à ce titre j’ai accès à l’historique de mes comptes…en pdf.
ce qui n’est pas forcément le meilleur format à insérer dans un tableur. voici une méthode pour convertir ces fichiers PDF en CSV, importables dans n’importe quel tableur.

premièrement, installer pdftohtml, il existe des versions pour Windows ou Linux.
deuxièmement, télécharger les fichiers PDF contenant vos extraits de compte. Je vous conseille retirer les espaces dans le nom des fichiers afin de pouvoir les traiter plus facilement.
Continue reading »

Déc 072011
 

raid5 optimisé, au final, j’ai multiplié par 4 les performances initales.

maintenant,
la copie d’un gros fichier depuis et vers le même filesystème se fait à environ 85Mo/s.
la lecture d’un fichier se fait environ à 1Go/s
l’écriture environ à 190Mo/s

pour tous les détails c’est à la page perfs x4 – optimisation d’un raid5 par la pratique

vous y trouverez un résumé condensé des différentes optimisations, toutes les modifications effectuées, des scripts de stress et de test et aussi le détail très technique de toutes les opérations.

Nov 302011
 

selon les données à sauvegarder/archiver, il ne faut pas se jeter sur le premier outil de compression qui nous vient en tête.

voici un exemple concret concernant une sauvegarde mysql, vous serez tous d’accord avec moi pour dire que ce n’est finalement que du texte:

$ ls -lh backup.sql*
-rw-r--r-- 1 root root  25M 2011-11-30 13:03 backup.sql
-rw-r--r-- 1 root root 6,7M 2011-11-30 13:04 backup.sql.gz
-rw-r--r-- 1 root root 1,8M 2011-11-30 13:05 backup.sql.7z

Continue reading »

Oct 202011
 

We had performance issues on our NFS servers, very poor performances.
after analyze we have seen that the bottleneck came from the disks, as always;
but tuning the FS did not solve the problem.

I talk about 1500 NFS mountpoint (running on 9 nodes from ServiceGuard cluster solution) as in my actual mission, everything works through NFS.
The homedir of course but also the applications, the logs, libraries etc…
Continue reading »

Oct 142011
 

Hi gents,

after searching a script to massive set quota for users on HP-UX, i’ve found nothing, only people asking how to do it.
of course you have the ‘edquota’ command, which can copy a user’s quota template into another account, but this is not the best way.

so, i’ve wrote a little script to do the job, for all my NFS users.

this script will definitively not fit for an other person than me and my needs, but I think it can be a good basis.
Continue reading »

Août 112011
 

la commande « sleep x » sous Unix permet de faire une pause de x secondes.

je viens de trouver une commande perl assez satisfaisante permettant de faire des pause de moins d’une seconde.
intéressant par exemple lorsque l’on fork des process.
en effet, s’il n’y a pas de pause dans le script, lorsque les forks se terminent, ils restent en état zombie.
Continue reading »

Juin 232011
 

1. rappel pour quand un serveur HP-UX plante.

depuis le GSP, il ne faut jamais utiliser la commande CM -> RS.
cela ferait un bête reset du serveur.
au contraire, utiliser la commande CM -> TC

TC signifie « Transfert of Control », et va exécuter un dump de la mémoire sur disque, généralement sur le lvol swap.

après que le dump ait été enregistré sur disque, le serveur reboot.
une fois le serveur redémarré, le dump est automatiquement transféré dans le répertoire configuré dans le fichier /etc/rc.config.d/savecrash
Continue reading »

Juin 232011
 

Voici un script qui regarde si l’espace disponible pour un crash dump est suffisant ou pas.
bien évidemment, il faut le lancer avant que la machine ne freeze.

Download : checkdumpsize.sh

#!/bin/sh

PATH=/bin:/usr/bin:/sbin:/usr/sbin
SAVECRASH_DIR="/var/adm/crash"

[ -f /etc/rc.config.d/savecore ] && . /etc/rc.config.d/savecore
[ -f /etc/rc.config.d/savecrash ] && . /etc/rc.config.d/savecrash
[ -f /etc/rc.config.d/savecrash ] || {
	echo "ERROR: /etc/rc.config.d/savecrash defaults file MISSING"
	exit 0
}

Print_data () {
	printf " %4s Size Mem dump %6d\n" "$1" $MEM_DUMP_SIZE

	if [ "$MEM_DUMP_SIZE" -lt "$LV_DUMP_SIZE" ]
	then 
		printf " Size Disk dump     %6d OK\n" $LV_DUMP_SIZE
	else
		printf " Size Disk dump     %6d Error\n" $LV_DUMP_SIZE
	fi

	if [ "$MEM_DUMP_SIZE" -lt "$FS_DUMP_SIZE" ]
	then 
		printf " Size free Dir      %6d OK\n" $FS_DUMP_SIZE
	else
		printf " Size free Dir      %6d Error\n" $FS_DUMP_SIZE
	fi

	printf "\n"
}

MEM_DUMP_SIZE=$( /sbin/crashconf -v |grep "Total pages included in dump"| cut -d":" -f2 )
MEM_DUMP_SIZE=$( echo $MEM_DUMP_SIZE |awk '{ printf ("%d\n", ($1 * 4 / 1024)) }' )
FS_DUMP_SIZE=$( bdf $SAVECRASH_DIR |grep -v used | awk '{ print $4 }' )
FS_DUMP_SIZE=$( echo $FS_DUMP_SIZE |awk '{ printf ("%d\n", ($1 / 1024)) }' )
LV_DUMP_SIZE="0"

for SIZE in $( /sbin/crashconf -v |grep "dev" | awk '{ print $3 }' )
do
	LV_DUMP_SIZE=$(expr $SIZE + $LV_DUMP_SIZE)
done

LV_DUMP_SIZE=$( echo $LV_DUMP_SIZE |awk '{ printf ("%d\n", ($1 / 1024)) }')

printf "\n                     Data in Mb\n"
Print_data ""

MEM_DUMP_SIZE=$(echo $MEM_DUMP_SIZE |awk '{ printf ("%d\n", ($1 * 105 / 100)) }')
Print_data "+5%"

MEM_DUMP_SIZE=$(echo $MEM_DUMP_SIZE |awk '{ printf ("%d\n", ($1 * 1047 / 1000)) }')
Print_data "+10%"

MEM_DUMP_SIZE=$(echo $MEM_DUMP_SIZE |awk '{ printf ("%d\n", ($1 * 1091 / 1000)) }')
Print_data "+20%"

il affiche l’espace dispo pour maintenant et aussi si la mémoire utilisée augmente de +5, +10 et +20%.
on peut donc prévoir un rajout d’espace disque.

exemple de sortie du script:
Continue reading »