linux user group brescia

Un'ultima cosa (piu' o meno in tema), poi prometto che mi taccio.

Ho visto una marea di traffico web (non malevolo, ma inutile) generato
da degli sciocchi motori di ricerca fatti per vendere fuffa
(nell'ordine - su uno stupido server come quello del lug, di piu' di
10 GB al giorno generati).

Il punto è che sono crawler che non capiscono le situazioni infinite
(tipo, continuano a cliccare il mese successivo sui calendari), e -
ancor peggio - girano da servizi di cloud in massa, senza badare a
limiti di rate di richieste/traffico.

Banalmente, per evitare inutile traffico e l'esplosione dei file log
di apache, ho aggiunto il ban degli IP che si presentano con questi
noim:

http://ahrefs.com/robot/
http://cognitiveseo.com/bot.html
http://megaindex.com/crawler
http://mj12bot.com/
http://suite.seozoom.it/bot.html
https://www.mojeek.com/bot.html
http://www.opensiteexplorer.org/dotbot
http://www.semrush.com/bot.html
http://www.seokicks.de/robot.html
auibot


Ciao,
Gelma


Il 10 aprile 2018 12:21, Andrea Gelmini <andrea.gelmini a gmail.com> ha scritto:
> Giusto per chiudere il giro.
>
> Ho configurato il server lug per fare i report su abuseipdb.
>
> Da lì ho visto che quelli di:
> http://www.blocklist.de/en/export.html
>
> contribuiscono un casino e, molto carini, permettono di fare il
> download degli indirizzi ip bannati.
>
> Quindi ho costruito stupido script, che ti giro giusto per comodita'
> (è scritto alla carlona che avevo fretta di andare a dormire come gli
> anziani).
>
> Manent, sono 20.000 IP.
> Se li metti in IPset non te ne accorgi neppure.
>
> Potresti tranquillamente inglobare e ti levi dalle balle il discorso
> accessi buffi imap.
>
>
> ---------------------------
>
> #!/bin/bash
>
> set -e
>
>        iptables -nL INPUT | grep -q "blocklist.de src"
>
>        if [[ $? -ne 0 ]]; then
>                  iptables -I INPUT -m set --match-set blocklist.de src -j DROP
>                  iptables -I INPUT -s mie-propri-ip-ufficio-ecc -j ACCEPT
>
>                  ipset create -exist blocklist.de hash:ip timeout 604800
>        fi
>
> wget -q 'https://lists.blocklist.de/lists/all.txt' -O /tmp/blocklist.de.txt
>
> for IP in $(grep -v ':' < /tmp/blocklist.de.txt |sort -V)
> do
>        ipset add -exist blocklist.de $IP
> done
>
> ---------------------------
>
> Ciao,
> Gelma
>
>
> Il 10 aprile 2018 01:21, Andrea Gelmini <andrea.gelmini a gmail.com> ha scritto:
>> Grande.
>>
>> Il progetto è interessante, anche se sembra piuttosto giovane.
>>
>> L'ho configurato sul server del Lug. Di schifo ne arriva taaanto,
>> magari torna utile.
>>
>>
>>
>> Ciao,
>> Gelma
>>
>>
>> Il 9 aprile 2018 17:10, Marco Manenti <marco.manenti a gmail.com> ha scritto:
>>> Cercando l'ip dell'ultimo contatto ho trovato questo:
>>>
>>> https://www.abuseipdb.com/
>>>
>>> configurabile anche con fail2ban, stasera guardo
>>>
>>> ciao!
>>>
>>> Il giorno 9 aprile 2018 12:08, Andrea Gelmini <andrea.gelmini a gmail.com> ha
>>> scritto:
>>>>
>>>> Dunque, all'epoca mi ero scritto robaccia.
>>>>
>>>> Pero' alla fine sono dell'idea che ti convenga incattivire Fail2Ban e
>>>> gestire manualmente i casi di blocco per password sbagliata, ecc.
>>>>
>>>> (argomento a parte: butta l'elenco in ipset che hai meno consumo di
>>>> ram e meno carico di cpu, mi riferisco all'elenco di IP).
>>>>
>>>> Ho trovato (su argomenti simili) delle soluzioni molto carine di
>>>> distribuzione di regole iptables tra server.
>>>>
>>>> Sarebbe interessante fare delle blacklist stile spam.
>>>>
>>>> Tutto molto bello, ma so gia' che non lo faremo mai.
>>>>
>>>> Attendiamo i giovani virgulti.
>>>>
>>>>
>>>> Ciao,
>>>> Gelma
>>>>
>>>>
>>>> Il 9 aprile 2018 11:20, Marco Manenti <marco.manenti a gmail.com> ha
>>>> scritto:
>>>> > Ciao!
>>>> >
>>>> > Ultimamente noto tantissimi tentativi di login alle caselle di posta
>>>> > IMAP..
>>>> > Di default la casella si disabilita con 10 tentativi di password
>>>> > fallita.
>>>> > Purtroppo fail2ban non posso usarlo: i tentativi arrivano da IP diversi
>>>> > e
>>>> > con lassi temporali random.
>>>> >
>>>> > Per ora ho risolto "all'italiana" tramite uno script [1] che tramite una
>>>> > regola iptables accetta solo gli ip italiani. Avete altri suggerimenti?
>>>> >
>>>> >
>>>> > [1]
>>>> >
>>>> > #!/bin/bash
>>>> >
>>>> > iptables -A INPUT -p tcp --dport 80 -j DROP
>>>> > iptables -A INPUT -p tcp --dport 443 -j DROP
>>>> > iptables -A INPUT -p tcp --dport 143 -j DROP
>>>> > iptables -A INPUT -p tcp --dport 993 -j DROP
>>>> >
>>>> > wget http://www.ipdeny.com/ipblocks/data/countries/it.zone -O
>>>> > ip_italiani.txt
>>>> >
>>>> > while read line
>>>> > do
>>>> >     iptables -I INPUT -s $line -p tcp --dport 80 -j ACCEPT
>>>> >     iptables -I INPUT -s $line -p tcp --dport 443 -j ACCEPT
>>>> >     iptables -I INPUT -s $line -p tcp --dport 143 -j ACCEPT
>>>> >     iptables -I INPUT -s $line -p tcp --dport 993 -j ACCEPT
>>>> > done < ip_italiani.txt
>>>> >
>>>> > iptables-save
>>>> >
>>>> >
>>>> > --
>>>> > Info/Lamentele/Segnalazioni: andrea.gelmini a gmail.com
>>>>
>>>> --
>>>> Info/Lamentele/Segnalazioni: andrea.gelmini a gmail.com
>>>
>>>
>>>
>>> --
>>> Info/Lamentele/Segnalazioni: andrea.gelmini a gmail.com