Script getIblockListByCategory.sh – Get iBlockLists lists by category

[javcasta]

Hi.

getIblockListByCategory.sh , a shell script tested at pfSense 2.3.2_1, for get IblockLists lists by category (spyware.gz, webexploit.gz, etc)

Host the script at one dir (for example /scripts ) and run with

sh /scripts/getIblockListByCategory.sh

And the script download the files atn /tmp/iblocklist/

[2.3.2-RELEASE][root@pfSense232a.localdomain]/scripts: ls -l /tmp/iblocklist/                  total 7188
-rw-r--r--  1 root  wheel     5052 Nov 20 00:01 DROP.gz
-rw-r--r--  1 root  wheel       80 Nov 19 23:01 HOSTS.gz
-rw-r--r--  1 root  wheel    67690 Nov 20 02:02 Malicious.gz
-rw-r--r--  1 root  wheel    12946 Nov 19 19:07 Microsoft.gz
-rw-r--r--  1 root  wheel      231 Nov 19 19:50 Palevo.gz
-rw-r--r--  1 root  wheel   178438 Nov 19 15:00 Pedophiles.gz
-rw-r--r--  1 root  wheel      769 Nov 20 09:15 SpyEye.gz
-rw-r--r--  1 root  wheel     1698 Nov 19 15:20 ZeuS.gz
-rw-r--r--  1 root  wheel    47520 Nov 19 19:48 ads.gz
-rw-r--r--  1 root  wheel   114074 Nov 20 03:01 adservers.gz
-rw-r--r--  1 root  wheel   445274 Nov 19 19:45 badpeers.gz
-rw-r--r--  1 root  wheel    18010 Nov 19 16:11 bogon.gz
-rw-r--r--  1 root  wheel    46173 Nov 20 13:30 cruzitwebattacks.gz
-rw-r--r--  1 root  wheel      625 Nov 19 19:43 dshield.gz
-rw-r--r--  1 root  wheel   758263 Nov 19 20:06 edu.gz
-rw-r--r--  1 root  wheel     3946 Nov 20 02:43 exclusions.gz
-rw-r--r--  1 root  wheel      165 Nov 20 05:52 fornonlancomputers.gz
-rw-r--r--  1 root  wheel     3432 Nov 19 20:04 forumspam.gz
-rw-r--r--  1 root  wheel     3334 Nov 19 14:40 hijacked.gz
-rw-r--r--  1 root  wheel      114 Nov 20 04:21 iana-multicast.gz
-rw-r--r--  1 root  wheel      406 Nov 20 09:49 iana-private.gz
-rw-r--r--  1 root  wheel      283 Nov 19 15:48 iana-reserved.gz
-rw-r--r--  1 root  wheel  3665537 Nov 20 08:24 level1.gz
-rw-r--r--  1 root  wheel  1321060 Nov 19 18:12 level2.gz
-rw-r--r--  1 root  wheel   268600 Nov 19 20:35 level3.gz
-rw-r--r--  1 root  wheel     2537 Nov 19 21:24 malc0de.gz
-rw-r--r--  1 root  wheel       80 Nov 19 16:43 malwaredomainlist.gz
-rw-r--r--  1 root  wheel    37023 Nov 19 23:13 proxy.gz
-rw-r--r--  1 root  wheel     5314 Nov 20 03:35 rangetest.gz
-rw-r--r--  1 root  wheel     9350 Nov 19 19:55 spider.gz
-rw-r--r--  1 root  wheel    50334 Nov 20 04:36 spyware.gz
-rw-r--r--  1 root  wheel    19784 Nov 20 02:37 webexploit.gz

The code

#!/bin/sh
# getIblockListByCategory.sh
# get iblocklist lists by Category
# @javcasta - Javier Casta?non - https://javcasta.com/ - 2016

if [ ! -d /tmp/iblocklist ]; then
 mkdir /tmp/iblocklist
fi

#categories
for CATEGORY in `curl -s https://www.iblocklist.com/lists.php | egrep -A1 '>*' | cut -d '>' -f 5 | cut -d '<' -f 1`; do
	CATEGORIES="${CATEGORIES} $CATEGORY"
done

J=1
#download
for NAME in `curl -s https://www.iblocklist.com/lists.php | egrep -A1 '>*' | egrep -o '[a-z]{20}'`; do
	MYID='$'$J
	#echo $J
	CATEGORY=`echo ${CATEGORIES} | awk -F' -- ' "{ print $MYID }" | tr -d '[[:space:]]'`
	echo $CATEGORY
	J=$((J+1))
	fetch -q -o /tmp/iblocklist/${CATEGORY}.gz "http://list.iblocklist.com/?list=${NAME}&fileformat=p2p&archiveformat=gz"
done

Regards