find duplicated files efficiently

 find duplicated files efficiently  Linux, Scripting and snippets, Shell sh  2 commentaires »
Juin 182014
 

I have several backups of my old mobile phones, with a lot of pictures taken.

When I wanted to categorize them, it appeared that there was duplicated pictures (really? ;))

so a little script after that, I could found all duplicated files et choose which of them to delete.

This script will not touch your files but displays all duplicated found files both in your terminal and in a csv file.
feel free to open it with your preferred sheet program

FYI: The analysis is based on the size and checksum of the files, not on the date nor filename.

the result is:

$ ./find_dups.sh -dir /data/photos\ -\ images/
find duplicate files size
md5sum duplicated files size
isolate duplicated files found
print the result
53b69ddf18c82f222046e8f616955bc6;;/data/photos - images/photos classées/Annee_2011/miaou/IMAG0462.jpg;/data/photos - images/photos classées/Annee_2012/miaou/IMAG0462.jpg
the result can be found in: '/tmp/find_dups.sh/04-result.csv'

Continue reading »

convert CIDR notation into decimal netmask representation

 Linux, Non classé, Shell sh  Pas de commentaires »
Juil 042013
 

Works on Bash only


cidr2dec() {
cidr=$1
totalmask= ; bits=

for ((i=$cidr; $i>0; i--)); do bits="${bits}1" ; done
for ((i=$((32 - $cidr)); $i>0; i--)); do bits="${bits}0" ; done

for i in 1 9 17 25; do
bitmask=$(echo $bits |cut -c${i}-$(($i + 7)))
totalmask=${totalmask}$(echo 'obase=10; ibase=2;' $bitmask |bc).
done

echo ${totalmask%%.}
}

 


$ for i in 16 24 26 27 32 ; do cidr2dec $i ; done
255.255.0.0
255.255.255.0
255.255.255.192
255.255.255.224
255.255.255.255

xtreamer ultra & ubuntu 12.04

 Linux, Operating System, Shell sh, Tips  37 commentaires »
Sep 302012
 

English is not my natural language, i accept all your corrections and will modify the texts as soon as possible.

1. English version

Update 7th October 2012 : adding the power off function for the remote.

1. Introduction

Xtreamer ultra is an HTPC (mini computer) using GNU/Linux operating system, providing a wonderful media center.

shipped with Ubuntu 10.10 (maverick merkaat code name). this release is no more supported by the development company (Canonical) so we can not have updates anymore.

I’ve seen a lot of users searching how to make Xtreamer work on Ubuntu 12.04, I hope this guide will help some people.

Xtreamer Ultra & Xtreamer Ultra2 are approximatively the same product as you can see at : www.xtreamer.net/ultra/  & www.xtreamer.net/ultra2/

I only have Xtreamer Ultra so I can’t test these configurations on Ultra2

Continue reading »

android connexion depuis le PC

 android, Tips  1 commentaire »
Jan 232012
 

résumé des actions:
1/ activer le débogage USB sur le terminal android
2/ créer une règle UDEV pour la connection avec ADB
3/ télécharger le SDK android
4/ identitifez votre device
5/ se connecter au device

détail:
Pour pouvoir se connecter à distance (Via un cable USB par exemple) sur un terminal Android depuis Linux. La première chose à faire est de modifier la règle de chargement du périphérique en modifiant un paramètre UDEV. UDEV est le daemon créant les fichiers spéciaux de périphériques comme /dev/sda, /dev/tty, etc…

tout est dynamique il n’y a donc pas grand chose à faire si ce n’est de créer une règle dans un fichier. Vous trouverez les lignes à mettre depuis http://wiki.cyanogenmod.com/wiki/Udev

$ sudo vi /etc/udev/rules.d/51-android.rules
$ cat /etc/udev/rules.d/51-android.rules
SUBSYSTEMS=="usb", ATTRS{idVendor}=="0bb4", ATTRS{idProduct}=="0ff9", MODE="0666", GROUP="plugdev" # ADB

Le terminal android lui aussi doit être configuré pour pouvoir autoriser les connexions distantes, allez dans paramètres -> applications -> développement -> cocher Débogage USB

télécharger le SDK android : http://developer.android.com/sdk/index.html décompressez-le et allez dans le répertoire tools, lancez le bianaire « android », une fenêtre va s’ouvrir, sélectionner le téléchargement de ADB. Remontez d’un cran dans votre arborescence et allez dans le répertoire platforms-tools.

maintenant branchez votre terminal via la connectique USB.

il ne reste plus qu’à se connecter. identifiez votre terminal avec la commande :

$ ./adb devices
List of devices attached
HT04RG358426    device

lancez un shell sur votre terminal

$ ./adb -s HT04RG358426 shell

si votre terminal android est rooté, une fois dans le shell vous pouvez taper la commande « su », regardez ensuite l’écran du terminal pour autoriser la connection en root et voilà.

optimiser son raid5

 Linux, Operating System, Scripting and snippets, Shell sh, Tips  Pas de commentaires »
Déc 072011
 

raid5 optimisé, au final, j’ai multiplié par 4 les performances initales.

maintenant,
la copie d’un gros fichier depuis et vers le même filesystème se fait à environ 85Mo/s.
la lecture d’un fichier se fait environ à 1Go/s
l’écriture environ à 190Mo/s

pour tous les détails c’est à la page perfs x4 – optimisation d’un raid5 par la pratique

vous y trouverez un résumé condensé des différentes optimisations, toutes les modifications effectuées, des scripts de stress et de test et aussi le détail très technique de toutes les opérations.

choix de l’outil de compression

 Linux, Shell sh, Tips  Pas de commentaires »
Nov 302011
 

selon les données à sauvegarder/archiver, il ne faut pas se jeter sur le premier outil de compression qui nous vient en tête.

voici un exemple concret concernant une sauvegarde mysql, vous serez tous d’accord avec moi pour dire que ce n’est finalement que du texte:

$ ls -lh backup.sql*
-rw-r--r-- 1 root root  25M 2011-11-30 13:03 backup.sql
-rw-r--r-- 1 root root 6,7M 2011-11-30 13:04 backup.sql.gz
-rw-r--r-- 1 root root 1,8M 2011-11-30 13:05 backup.sql.7z

Continue reading »

VxFS Fragmentation

 HP-UX, Shell sh, Tips  Pas de commentaires »
Oct 202011
 

We had performance issues on our NFS servers, very poor performances.
after analyze we have seen that the bottleneck came from the disks, as always;
but tuning the FS did not solve the problem.

I talk about 1500 NFS mountpoint (running on 9 nodes from ServiceGuard cluster solution) as in my actual mission, everything works through NFS.
The homedir of course but also the applications, the logs, libraries etc…
Continue reading »

Page 1 sur 4 1 2 3 4