Exabot ng что это

Посоветуйте браузер

Есть ли легковесные браузеры, не жрущие гигабайты оперативы и половину процессора, при этом с поддержкой жс и цсс более, чем никакой?

rk-d ★
21.09.19 14:24:21 MSK
← 1 2 →
anonymous
( 21.09.19 14:28:37 MSK )

Пусть пишут отдельный браузер для каждого сайта! Какой-нибудь модульный фреймворк им под это дело. Хотя бы и webkit.

anonymous
( 21.09.19 14:32:22 MSK )
Ответ на: комментарий от anonymous 21.09.19 14:32:22 MSK

Та по сути так оно уже и есть. Например, слак

rk-d ★
( 21.09.19 14:33:27 MSK ) автор топика

th3m3 ★★★★★
( 21.09.19 15:29:27 MSK )
FilosofeM ★★
( 21.09.19 15:52:30 MSK )

пользую seamonkey — ракета. Можно Pale Moon. Хочется из серии хромоножек? Iron Browser. Когда-то, на 2 гигах памяти, проверял практически все браузеры (был важен каждый свободный килобайт памяти). Вот на этих трёх и остановился. Ну ещё хромиум был боль-мень по обжёрству, но всё равно оставлял ощущуение «задумчивости». Правда у меня максимум — 4 вкладки бывает открыто. Как эта троица поведёт себя на принятых тут некоторыми 100500 вкладках — не скажу (я умею систематизировать закладки и сохранять файлы в оффлайне. Как pdf, например 🙂 Или целыми сайтами).

anonymous
( 21.09.19 15:58:04 MSK )

Нету, не слушай дураков.

anonymous
( 21.09.19 16:00:00 MSK )
Ответ на: комментарий от th3m3 21.09.19 15:29:27 MSK

Яб не сказал, что лиса легковесная

rk-d ★
( 21.09.19 16:11:07 MSK ) автор топика

darkduke ★
( 21.09.19 16:13:38 MSK )
Ответ на: комментарий от darkduke 21.09.19 16:13:38 MSK

в фалконе же хром-qtwebengine.

cetjs2 ★★★★★
( 21.09.19 16:19:54 MSK )
Ответ на: комментарий от rk-d 21.09.19 16:11:07 MSK

Яб не сказал, что лиса легковесная

Легковесная. Можно настраивать нужное количество процессов, будет меньше потреблять, если много. Ну и подкрутить другие настройки в about:config. Полно инструкций в сети.

th3m3 ★★★★★
( 21.09.19 16:37:44 MSK )

Нету, web говно, тут уже ничего не исправить, только на свалку.

FedyaPryanichkov ★★
( 21.09.19 16:41:06 MSK )

Нет золотой середины. Либо легкий, либо функциональный.

anonymous
( 21.09.19 16:49:24 MSK )
Ответ на: комментарий от th3m3 21.09.19 16:37:44 MSK

удваиваю за firefox, его можно настроить как звезду смерти на 2гб оперативки при желании летать будет

BLOBster ★★★
( 21.09.19 17:35:32 MSK )

Выберите между firefox и palemoon для избранных сайтов (при прочей равной дырявости подход к личным данным у файерфоксов заявлен чуть лучше) и вивальди или опера для всего остального. Вивальди хорош по интерфейсу, опера по встроенному блокировщику и прокси со сжатием.

Если нужно жёстко экономить память и цпу, то видимо всё таки файерфокс, палемун и однопоточные вебкит-браузеры. Они свопятся куда лучше хромоклонов. Мидори обычно не легковесная проблема, а всё более лёгкое никуда не годится по совместимости.

З.Ы. Не ищите того, кто сможет адекватно работать с кучей сайтов на 1 Гб оперативки. Не найдёте. Ищите того, кто лучше свопится. И тюнингуйте систему на этот нелёгкий процесс. Я на гиге и хдд умудрялся по 10-15 вкладок в хромиуме открыть и оно их пережёвывало минут за 10. И потом поднимало со дна.

З.З.Ы. «нормально свопиться», это значит что оперативка занята на 90-95%, диск шуршит, но страница в течении минуты как то на действия реагирует. Если нет, значит что то не так и можно что то улучшить.

kirill_rrr ★★★★★
( 21.09.19 18:37:46 MSK )
Последнее исправление: kirill_rrr 21.09.19 18:44:20 MSK (всего исправлений: 2)

Наткнулся на сайт на котором учат делать вирусы. Кому спалить этих гадов. Отвечайте серьёзно

UPD.
Ищем себя:
20 июня 2011 15:53 79.105.158.18 ОАО Ростелеком (ОАО Дальсвязь) Internet Explorer 7.01 Microsoft Windows XP
20 июня 2011 15:53 213.167.207.63 Domolink Exabot NG Microsoft Windows 7
20 июня 2011 15:51 77.50.229.204 Starlink Internet Explorer 8.01 Microsoft Windows 7
20 июня 2011 15:51 178.140.174.87 не определен Firefox 4.0b7 Microsoft Windows XP
20 июня 2011 15:49 188.124.37.39 Birulevo.Net Opera 11.11 Microsoft Windows 7
20 июня 2011 15:48 109.95.73.250 StationNet Opera 11.11 Microsoft Windows XP
20 июня 2011 15:48 213.167.207.63 Domolink Exabot NG Microsoft Windows 7
20 июня 2011 15:47 217.118.93.98 Beeline RU Chrome 10.0.648.133 Microsoft Windows XP

могу только посоветовать написать на форуме антивиря касперского

можешь на мыло скинуть сайтик.

хлопотно это и бесполезно к тому же таких сайтов тьма. зарубишь один появится два других. а управлении р тебя могут послать типа не их это дело

удивил=)))таких сайтов тьма тьмущая.. .
никто им и заниматься не будет.

и мне скинь есть такие гады которых надо убить вирусами

Exabot

Вебмастера и SEO-специалисты, которые занимаются технической оптимизацией сайта, лишь изредка (в моем случае) наблюдают в логах сервера визиты бота «Exabot». В моем случае, анализируя один сайт за 8 месяцев (01.2019-08.2019), этот бот сделал всего 366 запросов (выходит около 45 в месяц).

В целом частотность запросов бота «Exabot» имеет равномерное распределение за все время:

Exabot в логах и его поведение

Во всех обращениях этот бот представлялся одинаково — Exabot/3.0 и с одного и того же IP адреса. Пример запроса к серверу:

178.255.215.93 [03/Aug/2019:01:08:58 +0300] «GET / HTTP/1.1» 403 394 0.000 «-» «Mozilla/5.0 (compatible; Exabot/3.0; +http://www.exabot.com/go/robot)»

Бот относится к «вежливым», всегда перед сканированием запрашивает файл «robots.txt». Exabot запрашивает также страницы сайта и файлы карты сайта (XML). Особенно часто запрашивает главную страницу сайта (30% от общего кол-ва запросов к серверу) и файл «robots.txt» (40% от общего кол-ва запросов к серверу).

Что известно о боте Exabot

Все запросы производились с одного IP адреса 178.255.215.93 . Исходя из данных сервер находится во Франции и в базе AbuseIPDB на запросы с этого IP адреса есть замечания:

По указанному URL для официальной информации (http://www.exabot.com/go/robot) узнать ничего не получается сейчас, но известно, что в январе 2018 года работала цепь редиректов: http://www.exabot.com/go/robot -> http://www.exalead.com/go/robots -> http://www.exalead.com/search/webmasterguide и уже из последнего адреса можно узнать об этом роботе более подробную информацию.

Как указано в официальном описании под именем бота «Exabot» приходит индексирующий робот поисковой системы Exalead разработанной одноименной компанией Exalead. Головной офис находится во Франции, собственно отсюда и «растут ноги» (запросы с IP 178.255.215.93). Узнать больше информации об этой компании можно на официальном сайте.

Выводы

• Слушает robots.txt
• Не создает нагрузки на сервер, запросы редкие.
• Принадлежит поисковой системе, но с таким кол-вом запросов представляется очень малый индекс (возможно малый для стран, отличных от Франции).
• Лично я не вижу пользы от бота Exabot и занес его в список «Ненужные боты». Вреда и нагрузки на сервер он также не несет (около 45 запросов в месяц).

Какие меры принять для определения и устранения причин чрезмерной нагрузки на сервер?

1) 3 августа получил письмо службы технической поддержки ТаймВэб:

«Мы обнаружили, что Ваш аккаунт оказывает чрезмерную нагрузку на сервер. Возможно, Ваш проект стал более посещаемым или в работе сайта что-то пошло не так. На сервере виртуального хостинга чрезмерная нагрузка, оказываемая одним аккаунтом, может негативно сказаться на работе всего сервера, поэтому эту проблему важно оперативно решить».

2) Проверка access_logs файлов показала множество попыток доступа к сайтам:

• а) Ботов русскоязычных YandexBot, Googlebot, bingbot
• б) Ботов зарубежных, среди которых больше всего DotBot и Baiduspider
• в) Запросов к /administrator/index.php и /profil-polzovatelya?view=registration, хотя регистрация на сайте не доступна, как в настройках, так и в меню.

Решение

1) Блокировка директивой Disallow: / в файле robots.txt для следующих зарубежных ботов:

User-agent: Exabot Disallow: / User-agent: IDBot Disallow: / User-agent: Bingbot Disallow: / User-agent: Wotbox Disallow: / User-agent: Baiduspider Disallow: / User-agent: Baiduspider-image Disallow: / User-agent: Baiduspider-video Disallow: / User-agent: Baiduspider-news Disallow: / User-agent: Baiduspider-favo Disallow: / User-agent: Baiduspider-cpro Disallow: / User-agent: Baiduspider-ads Disallow: / User-agent: Baidu Disallow: / User-agent: MJ12bot Disallow: / User-agent: AhrefsBot Disallow: / User-agent: dotbot Disallow: / User-agent: Riddler Disallow: / User-agent: SemrushBot Disallow: / User-agent: LinkpadBot Disallow: / User-agent: BLEXBot Disallow: / User-agent: FlipboardProxy Disallow: / User-agent: aiHitBot Disallow: / User-agent: trovitBot Disallow: / 

2) Б локировка директивой user-agent в файле .htaccess для тех же ботов:

В статьях и httpd.apache.org мы не нашли описания и примеров директив блокировки ботов через файлы .htaccess сайтов.

Многозначность толкования разных источников «apache htaccess block bots» тоже не привела к результату. Мы установили в htaccess код в двух вариантах предлагаемых разными авторами:

Для одних сайтов директиву Deny from env в формате SetEnvIfNoCase User-Agent

  SetEnvIfNoCase User-Agent "^dotbot" bad_bot SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot SetEnvIfNoCase User-Agent "^anybot" bad_bot Order Allow,Deny Allow from all Deny from env=bad_bot 

Д ля других сайтов директиву RewriteCond %

RewriteCond % Exabot [OR] RewriteCond % IDBot [OR] RewriteCond % Wotbox [OR] RewriteCond % Baiduspider [OR] RewriteCond % Baiduspider-image [OR] RewriteCond % Baiduspider-video [OR] RewriteCond % Baiduspider-news [OR] RewriteCond % Baiduspider-favo [OR] RewriteCond % Baiduspider-cpro [OR] RewriteCond % Baiduspider-ads [OR] RewriteCond % AhrefsBot [OR] RewriteCond % MJ12bot [OR] RewriteCond % Detectify [OR] RewriteCond % dotbot [OR] RewriteCond % Riddler [OR] RewriteCond % SemrushBot [OR] RewriteCond % LinkpadBot [OR] RewriteCond % BLEXBot [OR] RewriteCond % FlipboardProxy [OR] RewriteCond % aiHitBot [OR] RewriteCond % trovitBot [OR] RewriteCond % Zeus RewriteRule ^(.*)$ – [F,L] 

3) Б локировка директивой Deny from IP в файле .htaccess для явно вредных запросов к «administrator», «registration», а также IP тех же ботов, а также IP из списка злостных спамеров и хакеров, опубликованных на сайте stopforumspam.com/stats. В итоге получился список из 628 IP адресов. Привожу здесь только часть списка — злостные IP

 order allow,deny Deny from 109.86.71.72 Deny from 134.249.51.80 Deny from 146.185.223.105 Deny from 146.185.223.173 Deny from 146.185.234.81 Deny from 176.8.90.90 Deny from 178.137.161.11 Deny from 178.158.85.115 Deny from 178.159. 37.110 Deny from 178.159.37.12 Deny from 178.159.37.44 Deny from 185.154.13.7 Deny from 192.168.0.1 Deny from 193.201.224.11 Deny from 193.201.224.21 Deny from 37.115.187.206 Deny from 46.161.9.46 Deny from 46.98.212.5 Deny from 46.98.213.124 Deny from 91.200.12.59 allow from all 

Анализ сегодняшнего 17Aug2017 файла access_log показал от DotBot 108 сканов по IP 216.244.66.198 и 216.244.66.250 Baiduspider 7 сканов по IP 180.76.15.17.

error_log стали содержательными, вместо 2-3 строк, теперь 40-50 строк отказа, типа:

www.site.ru [Thu Aug 17 06:11:59 2017] [error] [pid 15392] mod_access_compat.c(352): [client 216.244.66.250:48496] AH01797: client denied by server configuration: /home/g/login/site.ru/public_html/services

То есть защита наша работает, но пока работает лишь частично. Нагрузка остаётся завышенной.

Комьюнити теперь в Телеграм
Подпишитесь и будьте в курсе последних IT-новостей

ИТОГ

В результате наших действий нагрузка снизилась вдвое прежней, но мы ведем поиск оптимизации доступа.

У кого есть положительный опыт принятия мер по определению и устранению причин чрезмерной нагрузки на сервер? Просьба поделиться подробно, поскольку эта проблема становится актуальной для многих.