Что такое спам в электронной почте и чем он грозит.
Месяц назад к нам обратился клиент. У него были настроены приветственные письма, но они попадали в спам. Подробности: какой это был процент писем, на каких почтовых клиентах, какое количество - известны не были.
В этой статье я расскажу, как мы искали источник проблемы и что сделали для её решения. Эти же шаги советую применять и вам, если вы окажетесь в подобной ситуации.
Попадание в спам может быть обусловлено одной или сразу несколькими причинами, поэтому нужно проверять всё полностью. Первым делом нужно понять, какие письма отправляются, куда и откуда. Также необходимо знать, когда письма начали попадать в спам, и при каких обстоятельствах. Часто люди, занимающиеся email-рассылками, не могут назвать обстоятельств и времени, когда это началось, и тогда узнать причину становится сложнее. Поэтому лучше обращаться за помощью к людям с хорошим опытом в сфере email-рассылок.
Что проверить, если письма попадают в спам
- настройки отправителя (SPF, DKIM, DMARC и тд)
- на каких клиентах именно письма попадают в спам
- что за письма шлёт отправитель
- откуда и с какими параметрами идет рассылка (имена, домен, IP-адрес)
- репутация отправителя
- настройка самих писем (вёрстка, темы и тд)
Шаг 1. Проверка настроек самого отправителя
У каждого отправителя электронной почты есть три параметра, которые должны быть настроены: SPF, DKIM и DMARC. С помощью этих настроек почтовые агенты защищают пользователей от спама. Подробнее об их настройке и назначении можно узнать в справке любого из почтовых провайдеров.
Для проверки SPF, DKIM и DMARC существует множество сервисов. Я использую MX Toolbox или просто отправляю тесты писем на разные почты.
Для проверки настроек мы попросили клиента отправить нам тестовые письма на разные ящики (mail.ru, yandex, gmail). Дальше открывали каждое письмо и смотрели настройки: «Служебные заголовки» (mail.ru), «Свойства письма» (Яндекс.Почта), «Показать оригинал» (Gmail).
Gmail показал, что с настройками всё в порядке:
В Яндекс.Почте для проверки открываем письмо, в верхнем меню нажимаем «ещё» и выбираем «свойства письма». Увидели, что всё в порядке:
В Mail.ru делаем то же самое - открываем письмо → «ещё» → «служебные заголовки»:
Если значение = pass, значит, всё настроили верно. Другие же значения будут зависеть от ситуации и подскажут, что именно у отправителя не настроено должным образом. У клиента с настройкой записей всё в порядке. Значит, нужно искать проблему в другом. Но из всех тестов, которые отправил клиент, показали, в спам попали только те, что отправляли на Gmail. Это хорошая подсказка.
Шаг 2. Проверяем репутацию отправителя
Есть такое понятие, как репутация отправителя. О ней мы уже писали статью, . Репутация отправителя - это история его поведения, по которой почтовики решают, доверять отправителю или нет. Всё, как в жизни. Репутация отправителя зависит от истории его рассылок и от реакции пользователей на его письма. Она повышается, когда пользователи взаимодействуют с письмами:
- открывают письма;
- переходят по ссылкам;
- добавляют email отправителя в адресную книгу;
- нажимают на «не спам»;
- отвечают на письма отправителя.
Почтовые провайдеры предоставляют сервисы для отслеживания репутации: Постмастер от Mail.ru , Постофис от Яндекс , Постмастер Gmail . В некоторых из них можно отслеживать, в какую папку в ящиках пользователей попадают ваши письма, реакцию пользователей на ваши письма, общую репутацию для определенного почтового сервиса.
Поскольку проблема была в gmail, то решили проверить репутацию там. Но оказалось, что объёмов рассылки на gmail не хватало, чтобы в постмастере Google отобразились сведения о репутации:
Такова особенность gmail почты - репутация отправителя отображается, если он отправляет не менее 200-500 писем в день на ящики Google. Наш клиент отправлял намного меньше, поэтому репутации не было. Ещё одна особенность - отсутствие службы поддержки для проблем с рассылками. Например, в Mail.ru и Яндексе при необходимости можно обратиться в службу поддержки, где можно получить совет, чтобы избежать спама в дальнейшем, или получить консультацию. Обратиться за поддержкой по вопросам попадания писем в спам в Яндекс можно здесь: https://yandex.ru/support/mail-new/web/spam.html#mailing-not-delivered), а в Mail.ru можно обратиться по этой ссылке: https://help.mail.ru/mail-support/abuse/spam_folder/ . У Google люди в подобных процессах не участвуют, всё определяется автоматически с помощью системы антиспама, а все рекомендации описаны в справках .
Шаг 3. Проверяем репутацию домена и IP
Следом проверяем общую репутацию домена и IP-адреса клиента, и не попал ли он в чёрные списки (black list, блок-лист). Мы используем для этого https://mxtoolbox.com/blacklists.aspx . Если хотите проверить самих себя, то по ссылке откроется страница, куда нужно ввести домен или IP-адрес, с которых вы отправляете рассылки:
После проверки будет виден список блок-листов. Напротив каждого из них отобразится информация, находится ли проверяемый ресурс в каком-то из списков или нет. Зелёная галочка и «OK» означает, что запрошенный ресурс в этом чёрном списке не значится:
Список блок-листов довольно большой. В них в основном попадают недобросовестные отправители. Но бывает, что попадают и хорошие. Обычно это происходит после резких изменений в объёмах рассылок, начала использования новых ресурсов для отправки, повышения жалоб пользователей на письма отправителя. Иногда IP или домен попадают в какой-то блок-лист по ошибке. После попадания хотя бы в один из них репутация отправителя ухудшается, потому что многие почтовые клиенты проверяют отправителя на его присутствие в блок-листах.
Самые известные чёрные списки - это «BARRACUDA» и «Spamhaus». Если вы попали в один из них, то ваша почта на некоторые почтовые системы просто не будет доставляться. Если вы обнаружите, что оказались в одном из этих списков, срочно примите меры. У нас в базе знаний есть инструкция, .
У нашего клиента проблем с блок-листами не оказалось. Значит нужно проверять дальше.
Шаг 4. Проверка «серого списка»
Переходим к следующей особенности gmail - серый список (gray list), или, как мы часто это называем, «без репутации». Такая особенность есть не только у Google, но у него она играет большую роль, чем в других почтовых системах. Дело в том, что новые IP-адреса и домены, с которых почта ещё не отправлялась или отправлялась в очень маленьких количествах, не имеют репутации, и разные почтовые системы относятся к этому не одинаково.
Например, отправив тестовые письма с таких адресов и доменов на ящики Mail.ru и Яндекса, вы, вероятнее всего, попадёте во входящие. Но с Google не совсем так. Он определяет репутацию индивидуально для каждого пользователя, а после этого строит общую, которая всё равно имеет меньше значения, чем индивидуальная. Чтобы построить репутацию в gmail с самого начала, нужно отправлять письма своим подписчикам, даже если приходить они будут в спам.
Тут и начинается ваша репутация - реакция пользователей. Если эти письма пользователи действительно хотели получить, то будут их читать и нажимать «не спам». Никому не известно, какой процент людей должен это сделать, чтобы ваша репутация выросла, и новые письма стали приходить во входящие. Но работает это так: нажали «не спам» → переместили сообщение во входящие → следующее письмо придёт во входящие. Нажатие «спам» работает точно так же. Так и получается, что для каждого пользователя ваша репутация будет разной.
Нельзя наверняка знать, в этом ли причина попадания в спам писем клиента, но вполне вероятно, что так. Однако, прежде чем сделать окончательный вывод, нужно проверить и остальное.
Шаг 5. Проверка вёрстки
Валидная вёрстка - ещё один фактор, помогающий почтовым клиентам узнать, что ваше письмо не спам. Нежелательные рассылки делаются «по-быстрому», и мало кто в таких рассылках уделяет внимание и время качественной вёрстке. В нашей базе знаний есть , а в блоге - подробное описание, с примерами кода.
Мы попросили клиента прислать письма в формате.html. Часть кода:
В вёрстке оказалось много некорректного, вот несколько моментов:
- dir=»ltr» - этот параметр используется, чтобы текст отображался слева направо, его практически не используют, это лишнее.
- font-size:14.6667px - это странный размер для шрифта, достаточно просто 14px.
- font-size:11pt;margin:0pt - в вёрстке писем используются пиксели (px). Пункты не столь надежны для верного отображения, поэтому их не используют. А использовать размеры и в той, и в другой величине одновременно неправильно.
- id=docs-inter… - видно, что это идентификатор, но для чего он тут, непонятно.
Скорее всего, письмо сделали через визуальный редактор, а потом оттуда скопировали html-код. Вот и получилось много лишнего кода.Маловероятно, что человек прописал такие значения вручную.
Кроме лишнего кода, не хватало обязательного. Например, вёрстка письма должна начинаться вот так:
Потом уже всё остальное. В письме клиента было несколько тегов html, не было общей таблицы (в письмах используется табличная вёрстка), письмо не было адаптированы под разные устройства, что было очень заметно при просмотре с мобильного телефона.
Видимо, письма попадают в спам из-за вёрстки. Делаем максимально просто - задаём таблицу с понятными и работающими параметрами, добавляем в неё содержание:
Отправляем тесты на 6 ящиков gmail. Два в спаме, четыре в «промоакциях». Результат уже очень хороший, так как большая часть писем пришла во «входящие». Это вполне предсказуемо, так как иногда лишний и некорректный код воспринимается почтовыми системами как спам.
Дальше пробовали корректировать вёрстку ещё несколько раз, но письма продолжали иногда попадать в «спам». Значит, вёрстка и впрямь требовала исправления, но одного этого было недостаточно для попадания всех писем во входящие.
Иногда не только некорректный код, но и какие-то составляющие письма (тексты, отрывки html, тема письма, имя отправителя, адрес отправителя) могут влиять на доставку писем. Мы пробовали менять эти параметры и тестировали варианты. Но любые изменения этих значений не привели к улучшению.
Что выяснили в ходе проверки:
Если суммировать сказанное, то мы выяснили, что:
- записи и настройки в порядке;
- с репутацией отправителя, домена и IP нет проблем;
- в чёрных списках ресурсы не значатся;
- репутации на gmail нет - это влияет на доставляемость, надо её зарабатывать;
- ошибки в вёрстке мешают письмам попадать во «входящие».
Вывод довольно прост: для google-почты репутации отправителя недостаточно, чтобы письма попадали во «входящие». И тут два выхода из ситуации: зарабатывать репутацию или менять отправителя.
Что исправили
Помимо исправления вёрстки, надо было заработать репутацию. Но объёмов рассылок клиента не хватало, чтобы сделать это быстро, поэтому решили сменить отправителя.
Для этого создали аккаунт в MailChimp. Для отправки писем там используются общие IP-адреса (так называемые «пулы»), с которых уже велись рассылки. Иначе говоря, c этих IP-адресов ведётся отправка разных писем с разных аккаунтов. Соответственно, репутация у них есть, и ваши рассылки не будут первыми - строить репутацию с самого начала не придётся.
Протестировали несколько раз - результат положительный - письма во «входящих». Значит, и причина попадания писем в «спам» найдена. Заодно попробовали отправить оригинальное письмо, которое прислал клиент. Протестировали несколько раз - приходит в «спам».
Теперь клиент отправляет письма через MailChimp, а вёрстку переделывают.
Если у вас нет возможности сменить отправителя, придётся повышать репутацию своими силами. Для этого надо отправлять только хорошие письма, стараться делать это чаще и качественнее. Можно добавлять в письмо призыв ответить на рассылку или добавить ваш адрес в адресную книгу - эти действия улучшают репутацию. Время, за которое можно улучшить репутацию, индивидуально для каждого случая.
Это только один из множества случаев, которые происходят у клиентов. В этот раз всё было довольно просто, а причины легко отслеживались. Если у вас случай совсем не похож на этот, то ниже есть общие рекомендации для рассылок и поддержания репутации отправителя.
Как избежать попадания писем в спам
В основном случаи с попаданием писем в «спам» довольно уникальны. Разобраться в этом и улучшить ситуацию всегда можно. Если вы по каким-то причинам не сможете разобраться в этом сами, то всегда можете обратиться к нам - мы точно вам поможем:).
- Убедитесь, что отправляете письма, которые пользователи хотят их получать. Используйте Double Opt-in (двойное подтверждение email-адреса), чтобы избежать жалоб на ваши письма или отправки на несуществующие адреса. Следите за процентом жалоб. Если он поднимается, то нужно найти причину и принять необходимые меры.
- Следите за своей базой подписчиков, регулярно валидируйте её. Не шлите писем пользователям, которые не проявляют активности в рассылках в течение продолжительного времени.
- Если ваши письма попадают в «спам», причина может быть не одна. Часто это совокупность многих причин.
- Письма с новых ресурсов не всегда будут приходить во «входящие», так как без репутации по умолчанию считаются нежелательными. Зарабатывайте репутацию постепенно с помощью хороших валидных писем и рассылок, или используйте уже проверенные ресурсы для отправки. Учитывайте особенности почтовых систем.
- Убедитесь, что у вас всё верно настроено как у отправителя. Техническая часть рассылок не менее важна, чем их содержимое. Хорошая репутация необходима, но появляется она со временем (в зависимости от объёмов и качества отправляемых писем), и быстро её не заработать. Если вы хотите хороших и стабильных рассылок, то торопиться е стоит. Если же вы захотите ускорить процесс получения репутации, будьте осторожны - резко отправленный большой объём писем может очень плохо повлиять на ваши ресурсы изначально. Исправить это потом будет очень сложно или невозможно вовсе. Первоначальные объёмы отправки не должны быть большими, если с ваших ресурсов ещё не велись рассылки.
- Следите за качеством вёрстки, оно важно не только для читателей, но и для почтовых клиентов. Обращайте внимание на имя отправителя, тему сообщений, адрес отправителя и общее содержание письма. Иногда отправители, которые хотят привлечь внимание подписчиков, пренебрегают качеством текста и используют приёмы, которые используются в спаме, например, множество восклицательных знаков или заглавных букв.
- Проводите профилактические проверки ваших рассылок. Проверяйте свои ресурсы на наличие в чёрных списках, отправляйте себе тесты, проверяйте отображение писем на разных устройствах до отправки, следите за процентом открытий писем. При его резком снижении можно предположить, что ваши письма попадают пользователям в папку «спам», и нужно срочно принять меры.
- Если вы обращаетесь в службу поддержки почтового сервиса, то предоставляйте им всю необходимую информацию, чтобы они смогли помочь вам быстро и эффективно. Знайте историю своих рассылок, а также что вы шлёте, кому и сколько.
- Старайтесь не отправлять свои рассылки слишком редко или слишком часто. Стабильность ваших рассылок и расписание помогут вам не только с доставляемостью, но и дадут вашим пользователям понять, когда можно ждать ваших писем и в каком количестве.
В основном случаи с попаданием писем в «спам» довольно уникальны. Разобраться в этом и улучшить ситуацию всегда можно. Если вы по каким-то причинам не сможете разобраться в этом сами, то всегда можете обратиться к нам - мы поможем 🙂
Да перестаньте вы стесняться. Раз вы хотите делать добро, пусть оно будет активно.
Добро должно быть более активно, чем зло, иначе всё остановится.
.
З накомством со спамом может «похвастаться» едва ли не каждый из нас: и стар, и млад; и в этой стране, и за её пределами. Сомнительная популярность спама вовсе не означает, что рядовому интернет-пользователю известно о нём всё или почти всё. На практике ситуация обстоит совсем иначе.
К роме банального «назойливая реклама по электронной почте», если разобраться, ему о спаме ничего не известно. Откуда взялось слово «спам»? Когда был зафиксирован первый случай спама в истории? Кто является негласным «королём спама» на планете? Кому выгоден спам?
Н а эти вопросы у обычного пользователя Сети вразумительного ответа зачастую нет. Смею предположить, что нет его и у вас. Поэтому, думаю, нижеследующий материал об истории и развитии спама вы сочтёте полезным.
Спам: что говорят энциклопедии и статистические сборники
В русском языке в общей трактовке слово «спам» употребляется для обозначения рекламной рассылки посредством возможностей электронной почты. Это вовсе не означает, что иных его видов не существует. В наши дни для своих чёрных дел спамеры осваивают все существующие средства электронной связи. Как итог, принято различать другие его виды/способы распространения: спам в системах мгновенного обмена сообщениями, поисковый спам, Usenet-спам, спам в социальных медиа, файлообменный спам, sms-спам, ТВ-спам и т. д.
Н е взирая на множество видов, доминирует среди них почтовый (email) спам. И это целиком оправдано, ведь согласно западным аналитикам, ежегодное число несанкционированных рекламных сообщений, отправленных средствами электронной почты, оценивается в пределах семи триллионов единиц! Эта грандиозная цифра, в свою очередь, составляет от 70 до 90% годового почтового трафика на планете!
Американская ветчина и английский юмор
О писание главных вех в истории развития спама начнём с появления самого термина «спам». Тем более что эта история довольно оригинальна и увлекательна.
Н ачалось всё в далёком 1936 году в Соединённых Штатах, когда продовольственная компания Hormel Foods Corporation зарегистрировала новый товарный знак - SPAM . Это слово стало сокращённой формой (акронимом) словосочетания «Spiced ham», что в переводе с английского означало «ветчина со специями» или «острая ветчина».
П равда, ветчиной там и близко не пахло. На практике речь шла о продукте сомнительного происхождения, которому производители дали воистину уникальное название - острый колбасный фарш из свинины.
Э то добро до Второй мировой войны в умеренных дозах потребляли рядовые американцы. А когда война началась, Hormel Foods заключил выгодный контракт с армией США на поставку пресловутых консервов ей и её союзникам.
В скоре Вторая мировая закончилась, чего не скажешь о консервном «спаме». За годы войны компания-производитель аккумулировала огромные запасы колбасного фарша, который так и не был востребован со стороны военных. С этим нужно было что-то делать, так как срок годности продовольственного «спама» подходил к концу. А по некоторым оценкам, уже давно истёк.
В ыходом из ситуации стала невиданная по своим масштабам рекламная кампания на территории США. Консервы SPAM постоянно рекламировались по радио и на страницах газет. О них можно было узнать с витрин магазинов и на бортах кораблей, трамваев и автобусов. Об аппетитных кусочках «ветчины» настойчиво информировали даже фасады жилых домов. Словом, «спам» был везде!
П лоды рекламной кампании оказались довольно неожиданными. Более зажиточные американцы встретили её с неприязнью, в то время как обедневшие жители разорённой Европы проглотили наживку. Так, в рационе европейцев (в первую очередь, британцев) на долгие годы после войны обосновался американский консервный «деликатес».
Е го доминирование на столах англичан по прошествии многих лет изрядно поднадоело, что в 1969 году вылилось в создание знаменитой комик-группой «Монти Пайтон» нарицательного ТВ-скетча про вездесущий консервный «спам»:
С уть видеоролика сводилась к тому, что в одном из английских кафе все блюда из меню содержали в себе энную дозу SPAM. Когда главный герой скетча просит подать ему блюдо без «спама», ему предлагают еду, в которой его немного. Главная комичность ситуации заключалась в назойливости консервного «спама», поскольку на протяжении 3-х с небольшим минут скетча слово SPAM упоминается 108 раз!
П рошли десятилетия. Казалось бы, об американском колбасном фарше и тонком английском юморе все давно уже позабыли. Но оказалось, что нет…
В 1993 году, на заре Интернета в нынешнем его виде, особой популярностью пользовалась компьютерная сеть Usenet. Последняя состояла из множества новостных групп. Участники каждой группы могли общаться между собой и публиковать файлы в русле избранной тематики.
Т ак вот, в этом году один из администраторов группы news.admin.policy, некий Ричард Депью , создал программу ARMM. Эта программа должна была дать возможность удалять посты пользователей группы после их публикации. Однако софт оказался «сырым». Ошибка в его работе привела к несанкционированной рассылке 200 сообщений в группу от имени администратора. Читатели группы восприняли этот казус с пониманием и даже с улыбкой. А один из них применил в отношении инцидента новый, точнее, старый термин - «спам». Так это слово обрело новое значение!
Спам до эпохи Интернета
В сё это случилось потом, но до 1993 года история знала не один пример несанкционированной рекламы, по отношению к которой сам термин «спам» не употреблялся.
Т ак, в середине XIX века бессменный лидер на рынке международных денежных переводов компания Western Union дала добро на одновременную рассылку сообщений посредством телеграфа в любые доступные пункты назначения. Этой возможностью вскоре воспользовался первый в истории человечества спамер (его имя остаётся неизвестным и по сей день), который в мае 1864 года совершил несанкционированную массовую рассылку телеграммы видным британским политикам. Содержание телеграммы было сугубо коммерческим - в ней рекламировались услуги стоматологического учреждения.
М ожно не сомневаться - за этим последовали другие факты спама по всему миру, но первый задокументированный случай спама в его нынешнем понимании произошёл спустя столетие.
Ш ёл 1978 год, когда представитель компании Digital Equipment Corporation Гарри Сюэрк , воспользовавшись каналами связи (один из прародителей Сети), разослал рекламное сообщение нескольким сотням американцев. В сообщении рассказывалось о преимуществах новых моделей компьютеров, производимых компаний DEC. Прочитав оргтехники, большинство пользователей информационной сети выразили своё презрение автору. Мол, не для этого ARPANET была создана. Правда, в результате упомянутого спама небольшое число новых компьютеров всё-таки было продано.
В дальнейшем, в конце 80-х годов прошлого века, спам облюбовал так называемые МПМ (англ. MUD – Multi-User Dimension) - текстовые многопользовательские миры с элементами ролевых и обязательным чатом. При помощи чата пользователи этих игровых платформ наполняли спамом аккаунты своих соперников.
В 1988 году было послано первое в истории виртуального мира «письмо счастья» («письмо удачи»). Согласно официальной версии, его автор Дэйв Роудс , был студентом одного из американских вузов, который решил немного поправить своё материальное положение. Естественно, при посильной помощи со стороны неизвестных ему людей. Назвав своё письмо громким именем Make Money Fast (рус. - делай деньги быстро (а вот так )), он разослал его по каналам Usenet огромной армии пользователей этой сети.
Ч ем закончилась попытка вовлечь в Make Money Fast , которая по сути являлась финансовой пирамидой, тысячи людей, доподлинно неизвестно (зато доподлинно известно, ). Однако точно известно, что к 1994 году спам под звучным прикрытием Make Money Fast стал одним из популярнейших в мире. Выдумка Дэйва Роудса обросла множеством вариаций на тему и в итоге застолбила за собой одно из значимых мест в истории спама.
К другим важным событиям, предварявшим эру спама, в том числе и в нашей стране, можно отнести следующие факты:
- ~ 1991 год - в разгар летнего путча руководитель «Релком» Алексей Солдатов с помощью электронной почты разослал всем клиентам компании обращение Бориса Ельцина. Это был первый случай массовой несанкционированной рассылки электронных писем в России.
- ~ Январь 1994 года - масштабная спам-атака в Usenet. Некий отправитель запостил практически во все группы сети сообщение с темой «Global Alert for All: Jesus is Coming Soon» (рус. - Глобальное предупреждение всем: Иисус скоро прибудет). Противоречивое сообщение вызвало немало острых обсуждений на просторах Usenet, а человек, который его якобы разослал, по некоторым слухам, попал в большие неприятности.
- ~ Апрель 1994 года - спам освоили серьёзные бизнесмены. Супружеская чета адвокатов Лоуренс Кантер и Марта Сигел , прибегнув к возможностям всё той же Usenet, запустила рекламу своих юридических услуг в сфере получения бесплатной Зеленой карты для иммиграции в США. Что делало супругов непохожими на предшествующих спамеров? Факт, что они не пытались скрыть свои личности. Напротив, они гордились тем, что одними из первых смогли распознать невероятный коммерческий потенциал спама! Принято считать, что именно с этого момента и началось победоносное шествие интернет-спама по планете.
Борьба со злом и король спама
П оследующую историю спама можно лаконично охарактеризовать двумя фразами: нарастание масштабов и борьба с назойливым рекламным злом. Если с первым всё очевидно - бурное в последующие годы привело к не менее стремительному развитию спама (его масштабов и методов распространения, тематики и форм).
А вот со вторым всё не так однозначно. Казалось бы, повсеместное неприятие спама большинством интернет-пользователей должно было породить эффективную систему борьбы с ним. Однако на практике дела обстоят не совсем так. В то время как одни страны объявляют спам вне закона, другие, наоборот, негласно поощряют его, прикрываясь свободой слова в Сети. Вот и получается, что эффективность борьбы со спамом в разных уголках планеты разная. Довольно часто жертвам злостных спамеров только и остаётся, что надеяться на свои силы в искоренении этого зла (ответный спам, хакерские атаки на спамеров и т. п.).
П римером же удачной борьбы со спамом можно считать действия судебной системы США. В 2006, 2008 и 2009 годах житель США Сэнфорд Уоллес за спамерские атаки на и MySpace был оштрафован на 4, 234 и 711 млн долларов соответственно. Ущерб от спама, оценённый американским правосудием в подобные баснословные суммы, даёт все основания называть Сэнфорда Уоллеса «королём спама».
Спам: выгода и вред
Р аспространено мнение, что главную выгоду от спама получает сам спамер. Однако оно ошибочное. Недавние исследования опровергают подобные убеждения. Одна заокеанская компания в течение 26 дней разослала по электронной почте (!) 350 млн рекламных сообщений. Результатом этой массированной спам-атаки стало всего-навсего 28 продаж. Мягко говоря, маловато будет. Особенно если учесть, что речь в рекламе шла не о сверхдорогих авиалайнерах, а о доступном лекарственном препарате.
В ыходит если не спамер, то кто же? Большинство специалистов склоняется к мысли, что это ИТ-компании, которые дают спамерам возможность спамить. Одни разрабатывают специальное программное обеспечение для рассылки спама (в «мягкой» форме это программы и ), другие перепродают его, третьи собирают и продают базу адресов электронной почты пользователей Сети и т. д. По оценкам экспертов, на этом рынке ежегодно осваиваются сотни миллионов долларов.
В ред от спама - головная боль для конечного адресата (провайдерам и тоже иной раз несладко приходится). Арифметика проста. Скажем, если вы получаете в день 2 - 3 несанкционированных письма по электронной почте, то ощутимого вреда от них объективно нет. Удалили и забыли! Другое дело, если на ваш ящик ежедневно приходит до полусотни писем и больше. Вам понадобится около минуты, чтобы почистить новую корреспонденцию: разобраться, что удалить, а какие письма оставить. А это 6 часов в год! Почти полный рабочий день! Тратить столько времени на никому не нужную работу, согласитесь, непозволительная роскошь в наше время. Не говоря уже о психологической стороне вопроса.
1). Индия (12,3% от общего объёма в мире);Я зык спам-атак также многообразен. Доминирует английский (79%). За ним следует русский (5%), каталонский (3%), японский (%), датский (2%), немецкий (1%), французский (1%), румынский (1%), испанский (1%) и китайский (1%).
Н е менее любопытной выглядит и активность спамеров по дням недели. В фаворитах у них вторник и среда, когда количество отосланного спама выше среднего на 10%, а в аутсайдерах суббота и воскресенье (падение на 25%).
Вам приходили письма с рекламным содержанием на электронную почту? Да? Тогда вы знаете, что такое спам. Практически все которые есть в мире на сегодняшний день, выделяют огромное количество средств на борьбу со спамом. Разработчики создают разнообразные программы и скрипты, которые позволяют обнаружить рекламные сообщения и блокировать их, а также их отправителей.
Несмотря на это, подобные письма продолжают приходить. Часть из них действительно определяется и автоматически переносится в папку «Спам» (она есть сейчас уже у каждого провайдера почты); остальные же могут и вправду прийти в раздел «Входящие».
Подробнее о том, в электронной почте, зачем его отправляют и как с ним бороться, расскажем в данной статье.
Что такое спам?
Вообще слово «спам» произошло от названия острого фарша (из свинины и говядины), название которого употреблялось в комедийном сериале в 1971 году. По задумке сценариста, в одном кафе посетителям настолько агрессивно рекламировали этот продукт, что буквально не переставали употреблять слово «SPAM». Смысл заключался именно в постоянном, чрезмерном и при этом агрессивном повторении указанного слова.
Сегодня «спамом» называют автоматизированные массовые рассылки корреспонденции рекламного характера. В отличие от простой рекламы, такая рассылка не имеет - ее шлют огромному количеству людей без конкретной цели: просто надеясь на то, что какая-то небольшая часть адресатов заинтересуется предложением.
В эру электронных технологий все мы знаем, что такое спам. В электронной почте, СМС, в социальных сетях и даже в обычных почтовых ящиках мы можем найти массу сообщений, которые присылают от лица тех или иных компаний, предлагающих свои услуги.
Спам бывает очень навязчивым, а порой и вообще опасным для получателя. Об этом подробнее расскажем далее. А пока конкретнее о тех, кому выгодны такие рассылки.
Кто рассылает спам?
Как уже отмечалось, мы получаем массу нецелевых рекламных предложений. Все эти письма (спам) действуют чаще всего в интересах компаний, которыми они рекламируются (поставщики которые описываются в предложении). В отдельных случаях спам-рассылку могут осуществлять с целью добиться противоположного эффекта - отпугнуть потребителя, чтобы насолить конкуренту.
Разумеется, если в своем почтовом ящике вы обнаруживаете письмо с рекламой магазина обуви, это еще не значит, что такую рассылку делает сам магазин. Вероятнее всего, сообщения были отправлены со специального сервера, предназначенного для таких целей. А владелец магазина мог просто заказать подобную рассылку.
Другая ситуация, когда вам пытаются отправить спам с просьбой или содержащий какое-то явно мошеннического характера предложение. Например, это всем известные «письма счастья» о том, что ваш какой-то далекий богатый родственник оставил в качестве наследства миллионы долларов, а от вас требуется оплата комиссий в размере 200-300 $. Такого характера письма шлет, скорее всего, просто группа людей, имеющих доступ к необходимым средствам (например, это может быть программа для спама, сервер и база для рассылки).
Что рекламируют?
Если же говорить о том, что рекламируют в спам-письмах, то это - огромное количество вариантов. Рассылка может продвигать какую-то конкретную компанию, товар или услугу, интернет-магазин или сервис. В таком случае, конечно, спамеры пытаются действовать скрытно, чтобы не навредить поставщику услуг. Например, официальные компании не будут заниматься спамом, поскольку это незаконно. Для они могут использовать сайт-прокладку или подставной магазин.
В других же случаях спам может содержать ссылки на различные сайты, содержащие вирусы; программы, способные нанести вред вашему компьютеру, порнографические материалы, различные просьбы от подставных людей. Такие рассылки проводятся как раз группами людей, которые просто зарабатывают деньги незаконными способами. Это могут быть даже хакеры - специалисты, обладающие особыми знаниями в этой сфере.
Выгодно ли это?
По неофициальным исследованиям, ежегодно спаммеры зарабатывают миллионы долларов на своей деятельности. Они рекламируют сайты для взрослых, магазины с фармацевтическими препаратами, рассылают вирусы и разные сообщения мошеннического характера миллионам людей. Представьте себе, что, несмотря на то, что многие осведомлены, что такое спам в электронной почте и насколько он может быть вредным для получателя, люди продолжают верить написанному и отправляют деньги, покупают доступ на сайты, таблетки и даже устанавливают программы.
Если давать конкретный ответ, то да - спам очень выгоден. В противном случае им бы не занимались. Просто другая сторона медали - это вопрос того, насколько сложно осуществляться рассылку с точки зрения денежных затрат. Ведь даже непрофессионалу понятно, что программа для спама (или какой-то специальный скрипт) и сервера, с которых будет вестись рассылка, а также масса других технических нюансов - это дополнительные затраты, которые нужно окупить за счет прибыли от разосланных сообщений. Поэтому сказать, что спам - это простое занятие, нельзя. Этим занимается много людей, но лишь малой части удается зарабатывать здесь действительно большие деньги.
Спам в электронной почте
В электронной почте спам появился, наверное, раньше всего. Особенно эффективным инструментом он, разумеется, был в самом начале развития интернет-технологий. Тогда еще люди не знали, что такое спам, что делать с поступившими письмами, что никакого наследства на самом деле не существует, а о деньгах, отправленные по указанным реквизитам, можно забыть.
Позже, разумеется, проблемой спама озаботились почтовые сервисы. Они были вынуждены ввести первые механизмы блокировки спамеров, которые позже были успешно разгаданы. Последние несколько лет индустрия защиты от спама так и работает: те, кто делает рассылки, придумывает что-то новое; а задача сервисов почты - создать фильтр, который предотвратит попадание писем к пользователям.
С явлением, о котором идет речь в данной статье, борются все современные интернет-компании, в том числе и «Яндекс». Спам у них стал главнейшим врагом, поэтому команда разработчиков поисковика постоянно совершенствует методы отбора рекламных писем вот уже несколько лет. Успех у них пока переменный, поскольку нежелательная корреспонденция продолжает приходить.
Спам в прочих сервисах и службах
Помимо почты, есть масса других сервисов, на которых промышляют спаммеры. По сути, это различные форумы, блоги, обычные сайты, доски объявлений, социальные сети, заброшенные ресурсы, над которыми уже не ведутся работы. Это свидетельствует о том, что, несмотря на борьбу с таким явлением, никто так и не знает, как убрать спам.
Разве что можно поучиться опыту самых передовых в технологическом вопросе игроков рынка IT - крупнейших социальных сетей (Facebook, Twitter), где спам постоянно выявляется и удаляется. И то - даже там можно встретить огромное количество скрытого (и не очень) спама.
Как бороться?
Как раз и возникает вопрос: а как бороться с таким негативным явлением? Можно ли сделать так, чтобы спам в браузере перестал раздражать обычных пользователей, которых, в большинстве своем, не интересуют предлагаемые товары?
Бороться с навязчивыми сообщениями нужно, но искоренить такое понятие, как спам, все равно невозможно. Наиболее эффективными инструментами просто выступают автоматический и ручной контроль за тем, что присылают пользователи друг другу, а также какие-то ограничения, с помощью которых можно снизить рост количества спам-сообщений.
Например, в том же Gmail есть фильтры, отвергающие сообщения, содержащие ссылки, которые в больших объемах шлются разным людям. Такие аккаунты как раз очень быстро будут заблокированы, а письма со спамом не дойдут до адресатов.
Проблемой такой методики является множество вариаций форм спама. Грубо говоря, его можно рассылать не только в виде ссылок и не с одного аккаунта. На самом деле злоумышленники могут создать множество учетных записей на разных IP-адресах таким образом, чтобы скрыть свои реальные замыслы. Почтовой службе будет сложнее выявить такую деятельность.
Какие меры предпринимаются?
Помимо простого составления фильтров, почтовые сервисы ведут множество инновационных разработок, позволяющих распознавать спам в том или ином виде. С их помощью пользователи не будут задумываться над тем, как убрать спам, и это сделает работу с почтой гораздо удобнее.
Однако о том, как работают такие решения, почему они все еще пропускают навязчивые рекламные сообщения, не знает никто. Просто в разделе технологических новостей крупные почтовые провайдеры иногда публикуют информацию о тесте новых механизмов защиты; а со временем можно заметить, как действительно сокращается число спамерских сообщений. Методы работы таких механизмов остаются секретом.
Вам пришел спам. Что делать?
Если вы увидели в своем почтовом ящике нежелательное письмо явно рекламного (или мошеннического) характера - не паникуйте. Все, что нужно предпринять - это нажать кнопку «Пометить как спам» (если такая есть у вашего почтового провайдера) для того, чтобы проинформировать сервис о рекламном характере сообщения. Если кнопки «Это спам» у вас нет - просто удалите письмо.
Ни в коем случае не переходите по указанным там ссылкам и не качайте приложенных файлов! Не забывайте, что такое спам в электронной почте! Это может быть программа, способная украсть ваши данные или заразить ваш компьютер.
Ответственность за рассылку
Если вдруг вы хотели бы попробовать самостоятельно заниматься рассылкой спама, поспешим предупредить, что это - уголовно наказуемая деятельность, в том числе и в нашей стране. Поэтому пробовать не советуем.
Современный вид банки
Первоначально слово «SPAM» появилось в г. Оно расшифровывалось как SPiced hAM (острая ветчина) и было товарным знаком для мясных консервов компании Hormel Foods - острого колбасного фарша из свинины. Всемирную известность в применении к назойливой рекламе термин SPAM получил благодаря знаменитому скетчу с одноимённым названием из известного шоу «Летающий цирк Монти Пайтона » (1969) комик-группы Монти Пайтон . Смысл скетча сводится к тому, что в одном кафе все блюда в меню содержат «SPAM», некоторые даже по нескольку раз. Когда главный герой скетча, пришедший в это кафе вместе с женой, просит принести ему блюдо без «SPAM», официантка предлагает ему блюдо с «небольшим количеством SPAMа». Посетитель возмущается, и хор викингов, сидящих за соседними столиками, начинает петь хвалебную песню «SPAMу», после чего скетч погружается в хаос. В конце скетча жена героя восклицает: Я не люблю «SPAM»! (англ. «I don’t like spam!» ). В титрах к именам действующих лиц также было добавлено слово «SPAM». В общей сложности это слово упоминается в скетче более ста раз.
Наиболее распространенные виды спама
Реклама
Некоторые компании, занимающиеся легальным бизнесом, рекламируют свои товары или услуги с помощью спама. Они могут осуществлять его рассылку самостоятельно, но чаще заказывают её тем компаниям (или лицам), которые на этом специализируются. Привлекательность такой рекламы заключается в её сравнительно низкой стоимости и (предположительно) большом охвате потенциальных клиентов. Такая незапрошенная реклама может иметь и обратный эффект, вызывая отторжение у получателей, и даже может стать синонимом навязчивой рекламы, как это случилось с ветчиной , они действительно могут увеличить продажи, не доставляя получателям особого беспокойства. Основными условиями взаимовыгодности для получателя и организатора рассылки являются:
- совмещение ролей организатора рассылок и провайдера услуг электронной почты;
- повышение качества целевой аудитории каждого конкретного рекламного письма рассылки;
- предупреждение клиентов провайдером о том, что он будет рассылать рекламные письма;
- предоставление удобных средств для блокировки нежелательных писем.
Реклама незаконной продукции
С помощью спама часто рекламируют продукцию, о которой нельзя сообщить другими способами - например, порнографию , контрафактные (поддельные) товары, лекарственные средства с ограничениями по обороту, незаконно полученную закрытую информацию (базы данных), контрафактное программное обеспечение .
Антиреклама
«Нигерийские письма»
Иногда спам используется для того, чтобы выманить деньги у получателя письма. Наиболее распространенный способ получил название «нигерийские письма», потому что большое количество таких писем приходило из Нигерии . Такое письмо содержит сообщение о том, что получатель письма может получить каким-либо образом большую сумму денег, а отправитель может ему в этом помочь. Затем отправитель письма просит перевести ему немного денег под предлогом, например, оформления документов или открытия счета. Выманивание этой суммы и является целью мошенников.
Более узкое название этого вида мошенничества - скам или скам 419 (по номеру статьи в УК Нигерии).
Фишинг
Способы распространения
Папка со спамом в окне почтового клиента
Электронная почта
Самый большой поток спама распространяется через электронную почту (e-mail). В настоящее время доля вирусов и спама в общем трафике электронной почты составляет по разным оценкам от 70 до 95 процентов . В спаме наиболее часто встречается реклама непопулярных товаров: viagra и т.п. .
Борьба со спамом
Идеология
Очевидно, что спам приносит экономическую выгоду его заказчикам. Это означает, что пользователи, несмотря на неприязнь к спаму, всё-таки пользуются рекламируемыми посредством спама услугами. До тех пор, пока отдача от спама превышает затраты на преодоление защиты, спам не исчезнет. Таким образом, самым надёжным способом борьбы является отказ от услуг, рекламируемых посредством спама. Встречаются предложения о применении общественного осуждения, вплоть до прекращения общения, против лиц, покупающих рекламируемые спамом товары и услуги.
Другие способы направлены на затруднение спамерам доступа к пользователям.
Превентивные меры защиты
Самый надёжный способ борьбы со спамом - не позволить спамерам узнать электронный адрес. Это трудная задача, но некоторые меры предосторожности можно предпринять.
У всех методик сокрытия адреса есть принципиальный недостаток: они создают неудобства не только предполагаемым спамерам, но и реальным адресатам. К тому же, зачастую адрес опубликовать просто необходимо - например, если это контактный адрес фирмы.
Фильтрация
Поскольку рекламные письма, как правило, сильно отличаются от обычной корреспонденции, распространённым методом борьбы с ними стало отсеивание их из входящего потока почты. На настоящее время этот метод - основной и наиболее широко используемый.
Автоматическая фильтрация
Существует программное обеспечение (ПО) для автоматического определения спама (т. н. спам-фильтры). Оно может быть предназначено для конечных пользователей или для использования на серверах. Это ПО использует два основных подхода.
Первый заключается в том, что анализируется содержание письма и делается вывод, спам это или нет. Письмо, классифицированое как спам, отделяется от прочей корреспонденции: оно может быть помечено, перемещено в другую папку, удалено. Такое ПО может работать как на сервере, так и на компьютере клиента. В последнем случае пользователь не видит отфильтрованного спама, но продолжает нести издержки, связанные с его приемом, так как фильтрующее ПО получает каждое письмо и только потом решает, показывать его или нет. С другой стороны, если ПО работает на сервере, пользователь не несёт издержек по передаче его на свой компьютер.
Второй подход заключается в том, чтобы, применяя различные методы, опознать отправителя как спамера, не заглядывая в текст письма. Это ПО может работать только на сервере, который непосредственно принимает письма. При таком подходе дополнительный трафик тратится только сервером на общение со спамерскими почтовыми программами (т. е. на отказы принимать письма) и обращения к другим серверам (если таковые нужны) при проверке.
Существуют также специализированные online-сервисы, например, «Лаборатория Касперского» (сервис Kaspersky Hosted Security), Outcom («СПАМОРЕЗ»), ИНКАП («Антиспам-Пост»), предоставляющие платную защиту от спама. Изменение MX-записи в доменном имени предприятия (см.
Ещё одна проблема автоматической фильтрации в том, что она может по ошибке отмечать как спам полезные сообщения. Поэтому многие почтовые сервисы и программы по желанию пользователя могут не стирать те сообщения, которые фильтр счёл спамом, а помещать их в отдельную папку.
Методы автоматической фильтрации
Программы автоматической фильтрации используют статистический анализ содержания письма для принятия решения, является ли оно спамом. Наибольшего успеха удалось достичь с помощью алгоритмов, основанных на теореме Байеса . Для работы этих методов требуется предварительное «обучение» фильтров путем передачи ему рассортированных вручную писем для выявления статистических особенностей нормальных писем и спама.
Метод очень хорошо работает при сортировке текстовых сообщений (в т.ч. выборке удаётся отсечь до 95-97 % спама. Для обхода таких фильтров спамеры иногда помещают содержательную часть в картинку, вложенную в письмо, текст же либо отсутствует, либо случаен, что не позволяет фильтру составить статистику для распознавания таких писем. В этом случае необходимо пользоваться программами распознавания текста (большинство современных почтовых программ этого не поддерживают), либо использовать другие методы.
Залог надежной работы байесовского метода - постоянное дообучение фильтра и указание ему на совершаемые ошибки. В почтовых программах для этого вводится возможность ручной пометки сообщения «спам/не-спам», а в почтовых сервисах в интернете - кнопка «пожаловаться на спам».
Неавтоматическая фильтрация
Многие программы и почтовые сервисы в интернете позволяют пользователю задавать собственные фильтры. Такие фильтры могут состоять из слов или, реже, регулярных выражений , в зависимости от наличия или отсутствия которых сообщение попадает или не попадает в мусорный ящик. Однако такая фильтрация трудоёмкая и негибкая, кроме того, требует от пользователя известной степени знакомства с компьютерами. С другой стороны, она позволяет эффективно отсеять часть спама, и пользователь точно знает, какие сообщения будут отсеяны и почему.
Чёрные списки
Принадлежность, использование, эффективность
К ним относятся:
- списки IP-адреса компьютеров, о которых известно, что с них ведётся рассылка спама.
- (широко используются) списки компьютеров, которые можно использовать для рассылки - «открытые релеи » и «открытые прокси », а также - списки «диалапов» - клиентских адресов, на которых не может быть почтовых серверов
- (возможное использование) локальный список или список, поддерживаемый кем-то ещё.
- (широкое распространение благодаря простоте реализации) чёрные списки, запрос к которым осуществляется через службу DNSBL (DNS B lack L ist). В настоящее время этот метод не очень эффективен. Спамеры находят новые компьютеры для своих целей быстрее, чем их успевают заносить в чёрные списки. Кроме того, несколько компьютеров, отправляющих спам, могут скомпрометировать весь почтовый домен или подсеть, и тысячи законопослушных пользователей на неопределённое время будут лишены возможности отправлять почту серверам, использующим такой чёрный список.
- (встречаются) списки проповедующих довольно радикальные теории (например, приравнивая вирусные сообщения к злонамеренному спаму и т. п.).
Неправильное использование
Нередко безответственное и неправильное использование чёрных списков администраторами ресурсов, приводящее к блокированию большого числа ни в чём не повинных пользователей.
Пример: использование списков без точных представлений того, какие адреса и каким образом в него включаются, использование почтовых чёрных списков для web-ресурсов и т. п.
Безответственное использование
Пример: непредоставление пользователю (или администратору) заблокированного адреса информации о списке (так как их существует великое множество) или руководствование в своих действиях принципом презумпции виновности.
Рэкет со стороны администраторов чёрных списков
В последнее время в сети появляется всё больше жалоб на администраторов чёрных списков, которые шантажируют интернет провайдеров и хостинг провайдеров отказами в удалении IP адресов, с которых спам когда-то возможно рассылался (адреса попадают в чёрные списки по анонимным жалобам, которые зачастую невозможно проверить). Кроме того, многие требуют "пожертвования" от владельцев IP адресов за удаление записей из чёрных списков.
Авторизация почтовых серверов
Были предложены различные способы для подтверждения того, что компьютер, отправляющий письмо, действительно имеет на это право (Sender ID , SPF , Caller ID , Yahoo DomainKeys, MessageLevel ), но они пока не получили широкого распространения. Кроме того, эти технологии ограничивают некоторые распространённые виды функциональности почтовых серверов: становится невозможно автоматически перенаправлять корреспонденцию с одного почтового сервера на другой (
Среди провайдеров распространена политика, согласно которой клиентам разрешается устанавливать SMTP-соединения только с серверами провайдера. В этом случае становится невозможно использовать некоторые из механизмов авторизации.
