Главная
   Документация
      Asterisk
      CentOS
      Debian
      Docker
      FreeBSD
      openHAB
      PostgreSQL
      Raspberry Pi
      Ubuntu
      WWW
      Разное




Главная Документация FreeBSD › Геолокация в nginx

Геолокация (geoip) в nginx.

Автор:

Статья написана 2015-04-18 20:48:51
Последние правки 2015-07-16 15:56:01

Добавляем в nginx геолокацию (geoip).

Одна из самых привлекательных по моему мнению функций в nginx - это возможность определения страны, города по ip-адресу посетителя. Эта функция называется геолокация (geoip).

  • Базы с данными
    В интернете есть два достойных упоминания сайта с базами для геолокации. Первый - это, конечно, www.maxmind.com где есть два варианта баз - платные и бесплатные. Второй - www.ipgeobase.ru. Я предпочитаю использовать данные с обеих сайтов, данные для России и Украины брать с ipgeobase (по идее, у них по этим странам данные должны быть точнее), а для остальных стран - с maxmind. Пишем скрипт для скачивания архивов с данными:
    #!/bin/sh
    wget http://ipgeobase.ru/files/db/Main/geo_files.zip
    wget http://geolite.maxmind.com/download/geoip/database/GeoLite2-City-CSV.zip
    
    Теперь необходимо переконвертировать данные в формат, который можно скормить nginx. Создаем директорию convert и распаковываем туда файлы из архивов. Для конвертации я написал на perl пару скриптов.

    1_ipgeobase.pl - создаем файл для nginx из файлов с ipgeobase. Тащим данные только для России и Украины.
    #!/usr/bin/perl -w
    # 1_ipgeobase.pl
    #-------------------------------------------------------------------------------
    # convert ipgeobase.ru txt files for use with nginx geo
    #-------------------------------------------------------------------------------
    # (c) Skull 2015
    #-------------------------------------------------------------------------------
    use strict;
    use warnings;
    use utf8;
    use open qw/:std :utf8/;
    use Net::CIDR;
    $|=1;
    
    my %ids;
    my(@tr) = ('А,а,a','Б,б,b','В,в,v','Г,г,g','Д,д,d','Е,е,ye','Ё,ё,jo','Ж,ж,zg','З,з,zh','И,и,i','Й,й,i','К,к,k','Л,л,l','М,м,m','Н,н,n','О,о,o','П,п,p','Р,р,r','С,с,s','Т,т,t','У,у,u','Ф,ф,f','Х,х,h','Ц,ц,ts','Ч,ч,ch','Ш,ш,sh','Щ,щ,shh','Ь,ь,','Ы,ы,y','Ъ,ъ,','Э,э,je','Ю,ю,ju','Я,я,ja');
    
    
    open (local *IN,'<:encoding(cp1251)','cities.txt') or die "Can't open cities.txt";
    while (my $s = ) {
            my ($id,$city,$region,$district) = split(/\t/,$s);
            $ids{$id} = $city if $city;
    }
    close IN;
    
    
    open (local *OUT0,'>','geo_country_ipgeobase.conf');
    open (local *OUT1,'>','geo_city_ipgeobase.conf');
    
    
    open (local *IN,'<:encoding(cp1251)','cidr_optim.txt') or die "Can't open cidr_optim.txt";
    while (my $s = ) {
            chomp $s;
            my ($start,$stop,$inetnum,$country,$id) = split(/\t/,$s);
    
            $inetnum =~ s/ //g;
            foreach my $cidr(Net::CIDR::range2cidr($inetnum)) {
                    if(defined $country and ($country eq 'RU' or $country eq 'UA')){
                            print $cidr,"\n";
                            print OUT0 "$cidr $country;\n";
                            if(exists $ids{$id}){
                                    my $city = ucfirst(translate($ids{$id}));
                                    if($city eq 'Moskva'){ $city = 'Moscow'; }
                                    $city =~ s/(-)(\w)(.+?)/$1\u$2$3/g;
                                    $city =~ s/( )(\w)(.+?)/$1\u$2$3/g;
                                    $city =~ s/\"//g;
                                    $city =~ s/\'//g;
                                    if($city =~ / /){ $city = '"'.$city.'"'; }
                                    print OUT1 "$cidr $city;\n";
                            }
                    }
            }
    }
    close IN;
    close OUT0;
    close OUT1;
    
    print "Done for ipgeobase.ru\n";
    
    exit;
    
    sub translate{
            my($i) = @_;
            foreach my $x(@tr){
                    my($x0,$x1,$x2) = split ',',$x;
                    $i =~ s/$x0/$x2/g;
                    $i =~ s/$x1/$x2/g;
            }
            return $i;
    }
    
    Net::CIDR - этот пакет тащим с сайта search.cpan.org, создаем в convert директорию Net и туда помещаем CIDR.pm.
    После отработки скрипта получим два файла: geo_city_ipgeobase.conf и geo_country_ipgeobase.conf.

    2_maxmind.pl - создаем файл для nginx из файлов с maxmind. Тащим данные для всех стран кроме России и Украины.
    #!/usr/bin/perl -w
    # 2_maxmind.pl
    #-------------------------------------------------------------------------------
    # convert MaxMind GeoLite2-City CSV for use with nginx geo
    #-------------------------------------------------------------------------------
    # (c) Skull 2015
    #-------------------------------------------------------------------------------
    use strict;
    use warnings;
    use utf8;
    use open qw/:std :utf8/;
    $|=1;
    
    my(%city,%country,%net);
    
    
    print "Read geo_country_ipgeobase.conf...";
    open(local *IN,'<','geo_country_ipgeobase.conf') or die "Can't open geo_country_ipgeobase.conf";
    my $y = ;
    while (my $in = ){
            my($i0,$i1) = split ' ',$in,2;
            $net{$i0} = 1;
    }
    close IN;
    print " done\n";
    
    # parse MaxMind files
    
    print "Read GeoLite2-City-Blocks-IPv4.csv...";
    my($count_mm,$count,$count_s) = (0,0,0);
    open(local *IN,'<','GeoLite2-City-Blocks-IPv4.csv') or die "Can't open GeoLite2-City-Blocks-IPv4.csv";
    $y = ;
    while (my $in = ){ $count_mm++; }
    close IN;
    print " done\n";
    
    
    open(local *IN,'<','GeoLite2-City-Locations-en.csv') or die "Can't open GeoLite2-City-Locations-en.csv";
    my $x = ;
    while (my $in = ){
            chomp $in;
            my(@x) = split ',',$in;
            if($x[10]){ $city{$x[0]} = $x[10]; }
            if($x[4]){ $country{$x[0]} = $x[4]; }
    }
    close IN;
    
    open IN,'<','GeoLite2-City-Blocks-IPv4.csv' or die "Can't open GeoLite2-City-Blocks-IPv4.csv";
    open OUT2,'>','geo_country_maxmind.conf' or die "Can't open geo_country_maxmind.conf";
    open OUT3,'>','geo_city_maxmind.conf' or die "geo_city_maxmind.conf";
    
    $x = ;
    while (my $in = ){
            chomp $in;
            my(@x) = split ',',$in;
    
            if(!$net{$x[0]}){
    
                    if(exists $country{$x[1]} and $country{$x[1]} ne 'RU' and $country{$x[1]} ne 'UA'){
                            if($country{$x[1]} =~ / /){ $country{$x[1]} = '"'.$country{$x[1]}.'"'; }
                            print OUT2 $x[0],"\t",$country{$x[1]},";\n";
    
                            if(exists $city{$x[1]}){
                                    $city{$x[1]} =~ s/\"//g;
                                    $city{$x[1]} =~ s/\'//g;
                                    if($city{$x[1]} =~ / /){ $city{$x[1]} = '"'.$city{$x[1]}.'"'; }
                                    print OUT3 $x[0],"\t",$city{$x[1]},";\n";
                            }
    
                            $count++;
                            $count_s++;
                            if($count_s >= 100000){
                                    print "$count / $count_mm\n";
                                    $count_s=0;
                            }
                    }
            }
    }
    close IN;
    close OUT2;
    close OUT3;
    
    print "$count / $count_mm\n";
    print "Done for maxmind.com\n";
    
    exit;
    
    После отработки скрипта получим два файла: geo_city_maxmind.conf и geo_country_maxmind.conf.

    Создаем директорию
    # mkdir /usr/local/etc/nginx/geoip
    
    Переносим туда четыре файла: geo_city_ipgeobase.conf, geo_city_maxmind.conf, geo_country_ipgeobase.conf, geo_country_maxmind.conf

    На этом создание файлов с geo-данными для nginx закончено. Эту операцию необходимо проделывать каждый раз когда обновляются файлы с данными на сайтах ipgeobase и maxmind.

    Создаем файл /usr/local/etc/nginx/geoip/bad_countries.conf. В этом файле хранятся данные по странам, которым запрещен доступ к сайтам web-сервера. Формат файла:
    US      0;
    CH      1;
    IN      1;
    
    1 - посетителю из этой страны запрещен доступ.


  • Конфигурация nginx
    /usr/local/etc/nginx/nginx.conf
    http {
    
        geo $ip2city {
            default UNKNOWN;
            192.168.1.0/24  My City;
            127.0.0.1/32    My City;
            include geoip/geo_city_ipgeobase.conf;
            include geoip/geo_city_maxmind.conf;
        }
        geo $ip2country {
            default ZZ;
            192.168.1.0/24  RU;
            127.0.0.1/32    RU;
            127.0.0.0/24    US;
            include geoip/geo_country_ipgeobase.conf;
            include geoip/geo_country_maxmind.conf;
        }
        map $ip2country $bad_country {
            default 0;
            include geoip/bad_countries.conf;
        }
    
    }
    
    • /usr/local/etc/nginx/sites/mysite.conf - сайт, который обслуживает nginx.
      Вариант 1, если геоданные нужны в пределах server. Nginx должен быть собран с поддержкой 3rd party headers_more module (опция HEADERS_MORE в конфиге FreeBSD порта) иначе more_set_input_headers работать не будет.
      server {
          more_set_input_headers 'X-Geoip-City-Name: $ip2city';
          more_set_input_headers 'X-Geoip-Country-Code: $ip2country';
      
          if ($bad_country){
              return 444;
          }
      }
      
      Вариант 2, если геоданные нужны только скриптам. Передаем через fastcgi без всяких дополнительных модулей. Параметры задаются в location /cgi-bin/.
      server {
          location ~ /cgi-bin/ {
              fastcgi_param HTTP_X_GEOIP_CITY_NAME $ip2city;
              fastcgi_param HTTP_X_GEOIP_COUNTRY_CODE $ip2country;
          }
          if ($bad_country){
              return 444;
          }
      }
      
      if ($bad_country){...} - здесь задается реакция сайта на список "плохих" стран. Для посетителей из запрещенных стран возвращается ответ HTTP 444.

    • /usr/local/etc/nginx/sites/proxysite.conf - прокси для сайта на другом веб-сервере. В файле /usr/local/etc/nginx/proxy_vars.conf должны быть строчки:
      proxy_set_header        X-Geoip-City-Name               $ip2city;
      proxy_set_header        X-Geoip-Country-Code            $ip2country;
      

  • Применить изменения.
    Если не добавлялось новых сайтов, то можно просто перечитать конфиг
    # /usr/local/etc/rc.d/nginx reload
    
    Иначе необходима полная перезагрузка
    # /usr/local/etc/rc.d/nginx restart
    

Связанные странички:
nginx, apache - доступ по ip или по паролю
nginx и ssl сертификат с паролем
Установка nginx в CentOS
FreeBSD - устанавливаем и настраиваем nginx
Ротация логов в nginx
Raspberry Pi, Raspbian, nginx
nodejs + nginx + passenger + ubuntu
Настройка связки nginx и php-fpm в FreeBSD
Raspbian, установка FastCGI для Perl и настройка под nginx