Api consumers

«Have I been pwned» получил первый «самостоятельный запрос» +22

• 24.04.16 23:46

•
cjmaxik
•
#282339
•
Хабрахабр

•
Перевод

•

•

14600

Информационная безопасность

Безусловно, несколько лет назад я и не мог представить, как далеко зайдет мой проект Have I been pwned (HIBP), однако только что я загрузил в систему сотый отчет об утечке. Это дает в общей сложности 336,724,945 утекших аккаунтов, которые были загружены за последние годы, чего я, признаться, не ожидал увидеть.
Однако сотый отчет не совсем похож на предыдущие — он был получен мною от сайта, который сам подвергся взлому. Это «самостоятельный запрос» (self-submission), если удобно. Обычно после взлома сайта информация разлетается по сети, в то время как попавшая «под раздачу» компания понятия не имеет, что случилось, или всячески отвергает случившееся. Только вчера я написал статью «Если я могу подтвердить утечку, то почему не они?», где я отчитал такие организации, как Избирательную комиссию Филиппин и Naughty America за непризнание проблем с безопасностью спустя недели после инцидентов. Насколько неэтично хакерам взламывать системы и подвергать людей риску, настолько же неэтично организациям отвергать инциденты и не пытаться защитить своих пользователей.
Недавно я получил письмо с просьбой:

Я администратор/разработчик игрового форума с ~80,000 учетными записями. Несколько недель назад у нас произошла утечка базы данных, мы хотели бы добавить информацию на ваш сайт.
TruckersMP(фанатская мультиплеерная модификация для симуляторов Euro Truck Simulator 2 и American Truck Simulator,- прим. переводчика)на этом сайте 25 февраля в 19:39Мы крайне озабочены проблемами безопасности, чувствуем ответственность и обязанность информировать наших пользователей о возникших утечках. Все члены нашей команды согласились с тем, что хорошо бы добавить наш случай, мы бы хотели видеть, как другие сайты делают то же самое; учитывая неудачные обстоятельства.
на HIBP

Комментарии (5):

1. cjmaxik

   25.04.16 02:47/#8867811
   / +3

   Это мой первый перевод на Хабрахабре. Прошу все исправления присылать в личные сообщения.
   Спасибо.

2. Biggo

   25.04.16 02:08/#8868459

3. ASovetov

   25.04.16 02:39/#8868511
   / -1

   Етс2мп он же тракерсмп никак не оповестили и ничего не писали нигде… Хм хм. А я там давно зареган и гоняю временами…

   cjmaxik

   25.04.16 02:44/#8868525

   Писали и на сайте, и на форуме.

   Zalechi

   25.04.16 08:47/#8869135

   Ну Вам же пряме в переведённой статье указали ссылку на статью в блоге:truckersmp.com/ru_RU/blog/8

Others

1. Recon-ng module byTim Tomes
2. Ruby Gem by Carl Sampson
3. Ruby Gem by Michael Henriksen
4. Maltego Transform by Sudhanshu Chauhan
5. Angular JS module by Brad Cavanagh
6. Firefox OS app by Zshawn Syed
7. IFTTT recipe by Nick Scoman
8. WordPress plugin by Evan Herman
9. Node.js module by Justin Hall
10. Node.js command line tool by Justin Hall
11. Chrome extension by Antreas Pogiatzis
12. Telegram project by Luke Anderson
13. Microsoft Flow Notification by Jon Gallant
14. Java client by Dario Oreščanin
15. Elixir client by Samar Acharya
16. Slackbot by Samar Acharya
17. JPwned Java library by Dariush Moshiri
18. Go package by Juan Ignacio Rizza
19. .NET library by Valters Tomsons
20. Databreach Search by Faster Broadband
21. R package by Steph Locke
22. Joomla! Plugin by Schultz IT Solutions
23. Alexa Skill by Neal Shyam
24. Bash script by Navan Chauhan
25. PowerShell module by Mark Ukotic
26. Devise extension by Michael Banfield
27. Telegram bot by Konstantin Maleev
28. WordPress plugin by Dan Dulaney
29. Windows 10 Password Manager by Sergio Pedri
30. NPM package by Franklin van de Meent
31. Golang OSINT framework by Francesco Giordano
32. Bash script by Jimmy Wall
33. Password Store extension by Darshit Shah
34. Active Directory Pwned Password integration by Jackson Van Dyke
35. Google Assistant by Matt Carroll
36. Clojure client by Nicholas Labarre
37. KeePass plugin by Janis Estelmann
38. Nimble client by Dominik Picheta
39. Go package by Mason Johnson
40. Python script by Quentin Rhoads
41. Ansible role by John Imison
42. FastBound: integration with Pwned Passwords
43. Perl module by Pete Houston
44. Passwordstate: integration with Pwned Passwords
45. Pwned Checker Drupal module by Ronan Leroy
46. OctoberCMS plugin by Luke Towers
47. TYPO3 extension by Torben Hansen
48. Spybot Identity Monitor Desktop app
49. Kotlin interface by Mark Nenadov
50. Telegram bot by Francesco Garbo
51. Bash script by M1ndFl4y
52. .NET client by Anders Åberg
53. Slack bot by Pedro Leiva
54. Chrome Extension by Keshav Malani
55. OpenCart integration by Todor Donev
56. NPM package by Dheeraj Joshi
57. Laravel validator by Stephen Rees-Carter
58. Discord bot by Nick Bowling
59. Leon open-source personal assistant by Louis Grenard
60. CURL password generator by Matthew Justice
61. Ruby client by P. Warshavski
62. Sooty — The SOC Analysts all-in-one CLI tool to automate and speed up workflow
63. Rust library by Caleb
64. Active Directory PwnCheck by Aaron Guilmette
65. haveibeenpwned4j Java Library by Martin Spielmann
66. KoçSistem Gözcü Parola Modulü Chrome Extention by KoçSistem
67. Golang project by Prahesa Kusuma Setia
68. Command line tool by Fionn Fitzmaurice
69. Data Breach Info Chrome extension by The Golden Step
70. Data Breach Info Firefox Extension by The Golden Step
71. Email Unfo Chrome extension by The Golden Step
72. Email Unfo Firefox Extension by The Golden Step
73. Password Unfo Chrome extension by The Golden Step
74. Password Unfo Firefox Extension by The Golden Step
75. Bash script by Alan Johnson
76. WordPress plugin by Scott Millar
77. Java client by Jonathan Angeles

Keep your passwords unique, and keep them secure

The sad truth, despite all of the above, is that there is no bulletproof method of knowing for sure if one of your passwords has been compromised. While the methods mentioned will keep you as informed as it is possible to be, they cannot be relied upon to be 100% accurate. Why not? The simple answer is that they can only look for credentials that are in the databases they reference. Those databases can only be populated with known, validated, breach records that have found their way onto the dark web or otherwise been shared with the service operators. There will inevitably be a delay between a breach occurring, credentials being stolen, and them ending up in those databases. Assuming, that is, they are not kept out of the public eye by threat actors who may want to exploit them for their immediate gain, or perhaps compile them into a larger database to command a higher value at a later date.

MORE FROMFORBES ADVISOR

How To Protect Your Online Banking Information

ByRebecca Lake
contributor

This means you need to stay on top of your password creation, storage and use game.

The simplest way of doing so is to use a password manager to create random, complex and unique passwords for every site or service. This also ensures your passwords are stored in an encrypted database and, for most people, this will be the easiest way of keeping those credentials secure. Don’t share your master password, the one that unlocks your password manager vault, or individual account passwords for that matter, with anyone. Do make use of two-factor authentication (2FA) wherever it is available, as this provides a second layer of protection just in case someone did get hold of your account password. Without access to the 2FA mechanism, they will still be locked out of logging into your stuff.

Downloading the Data

And now to the pointy bit — downloading the data. As with V1, there’s one big 7z archive you can go and pull down immediately from the Pwned Passwords page on HIBP. Also as before, it’s available via direct download from the site or via torrent. I want to strongly encourage you to take it via the torrent, let me explain why:

The underlying storage construct for this data is Azure Blob storage. If I was to serve the file directly from there, I’d cop a very hefty data bill. Cloudflare came to rescue in V1 and gave me a free plan that enabled a file of that size to be cached as their edge nodes. The impact of that on my bill was massive:

Imagine the discussion I’d be having with my wife if it wasn’t for Cloudflare’s support! And that was before another 6 months’ worth of downloads too. Cloudflare might have given me the service for free, but they still have to pay for bandwidth so I’d like to ask for your support in pulling the data down via torrents rather than from the direct download link. To that effect, the UI actively encourages you to grab the torrent:

If you can’t grab the torrent (and I’m conscious there are, for example, corporate environments where torrents are blocked), then download it direct but do your bit to help me out by supporting the folks supporting me where you can. As with V1, the torrent file is served directly from HIBP’s Blob Storage and you’ll find a SHA-1 hash of the Pwned Passwords file next to it so you can check integrity if you’re so inclined.

So that’s the download — go forth and do good things with it! Now for something else cool and that’s the online search.

Have I Been Pwned

Веб-сайт Троя Ханта поддерживает базу данных комбинаций имени пользователя и пароля от публичных утечек. Они взяты из баз, которые можно найти на различных сайтах в Интернете или в даркнете. Эта база данных просто упрощает самостоятельную проверку.

Чтобы использовать этот инструмент, перейдите на главную страницу Have I Been Pwned и выполните поиск по имени пользователя или адресу электронной почты. По результатам Вы узнаете, появлялось ли когда-либо Ваше имя пользователя или адрес электронной почты в базе данных. Повторите этот процесс, чтобы проверить несколько адресов электронной почты или имен пользователей. Вы увидите, в каких дампах утечки паролей отображается Ваш адрес электронной почты или имя пользователя, что, в свою очередь, дает Вам информацию о паролях, которые могли быть взломаны.

Если Вы хотите получать уведомление по электронной почте, если Ваш адрес электронной почты или имя пользователя появятся в будущей утечке, нажмите ссылку «Notify me» вверху страницы и введите свой адрес электронной почты.

Вы также можете выполнить поиск пароля, чтобы узнать, появлялся ли он когда-либо в утечке. Перейдите на страницу Pwned Passwords на веб-сайте Have I Beened, введите пароль в поле и нажмите «pwned?» кнопка. Вы увидите, есть ли пароль в одной из этих баз данных. Повторите это столько раз, сколько хотите, чтобы проверить дополнительные пароли.

Предупреждение: Мы настоятельно не рекомендуем вводить пароль на сторонних веб-сайтах, которые запрашивают его. Они могут украсть Ваш пароль. Мы рекомендуем Вам использовать только сайт Have I Been Pwned, который пользуется большим доверием и . Фактически, популярный менеджер паролей 1Password теперь имеет кнопку, которая использует тот же API, что и веб-сайт, поэтому они также будут отправлять хешированные копии Ваших паролей в эту службу. Если Вы хотите проверить, не произошла ли утечка Вашего пароля, Вам следует сделать это с помощью этого сайта.

Если произошла утечка важного пароля, который Вы используете, мы рекомендуем немедленно его изменить. Вам следует использовать менеджер паролей, чтобы можно было легко установить надежные уникальные пароли для каждого важного сайта, который Вы используете

Двухфакторная аутентификация также может помочь защитить Ваши критически важные учетные записи, поскольку она предотвратит вход без дополнительного кода безопасности, даже если они знают пароль.

Querying the Data Online

In V1, I stood up an online search feature where you could plug in a password and see if it appeared in the data set. That sat on top of an API which I also made available for independent consumption should people wish to use it. And many people did use it. In fact, some of the entrants to my competition to win a Lenovo laptop leveraged that particular endpoint including the winner of the competition, 16,year-old Félix Giffard. He created PasswordSecurity.info which directly consumes the Pwned Passwords API via the client side:

Getting back to the online search, being conscious of not wanting to send the wrong message to people, immediately before the search box I put a very clear, very bold message: «Do not send any password you actively use to a third-party service — even this one!»

But people don’t always read these things. The service got a heap of press and millions of people descended on the site to check their passwords. At least I assume it was their passwords, I certainly don’t log those searches but based on the news articles and social media commentary, yeah, it would have been a heap of real passwords. And I’m actually ok with that — let me explain:

The online search works almost identically to V1 albeit with the count of the password now represented too:

Pretty simple stuff and for the most part, also pretty familiar. But there’s one really important — and really cool — difference. Let me explain:

Use the 1Password password manager

Using a password manager is recommended by numerous security experts as a way of not only storing passwords in a securely encrypted database, but also of generating truly random, complex and unique passwords for every site and service. However, there’s another reason you might want to use 1Password: it will also warn you if any of your passwords have been compromised. The Watchtower feature built into 1Password hooks into the Pwned Passwords search previously mentioned. Rather than having to manually enter every password you use in order to check if it has been stolen or not, Watchtower automates the process in the background. It gets updated whenever a new security breach is reported and added into the Have I Been Pwned database, immediately and automatically alerting you if your password has been found.

What Is Have I Been Pwned (HIBP)?

Have I Been Pwned is a popular website that as of 2019 has over 2 million subscribers.

It’s smart to be wary about who you give your details to but this website is designed to help you avoid problems not cause them.

Have I Been Pwned was originally created in 2013 by a security researcher named Troy Hunt. According to Hunt, he created the website in response to the data breach at Adobe Systems which affected 32 million people.

He claims that at the time of the attack, it was easy for hackers to download large batches of stolen account details. But it was very difficult for the average person to find out if their details were included.

When the website launched, it only had the records of five security breaches. Have I Been Pwned now has hundreds of breaches on record and the average person can find out if they are included in seconds.

If you’re still concerned about the intentions of Have I Been Pwned, it’s also worth noting that plans were recently announced to make the entire system open source.

Как уменьшить опасность и обезопасить данные от взлома

Пользователь может сделать более безопасным использование своих данных от учетных записей в интернете. Для этого, постарайтесь выполнить следующие требования:

• Не используйте старые пароли от своих учетных записей для новых аккаунтов.
• Не используйте одинаковые логины и пароли при регистрации на разных сайтах.
• Используйте надежные и сложные пароли.
• Для хранения паролей используйте специализированные программы — менеджеры паролей.
• По возможности используйте двухфакторную аутентификацию.
• Если есть возможность, используйте функцию «безопасные платежи», имеющуюся в некоторых антивирусах.

Не рекомендуется использовать снова старые пароли из-за того, что они могли быть ранее скомпрометированы. Новый пароль к учетной записи повысит общую безопасность. Вы, наверное, замечали, что многие сервисы запоминают старый пароль и не разрешают снова его использовать, при проведении изменений в настройках аккаунта пользователя.

Наиболее часто, при регистрациях в интернете, в качестве логина используется адрес электронной почты, потому что он нужен для обратной связи с пользователем. Из-за своей беспечности многие пользователи используют одинаковые пары логин — пароль на разных сайтах.

В этом случае, получив доступ к данным от одного аккаунта, злоумышленник сможет войти в другие учетные записи пользователя. Для большей безопасности имеет смысл пользоваться несколькими электронными почтовыми ящиками: для личных целей, для работы, для регистраций и т. п. Можно создать временную почту для регистраций.

При регистрации на сайтах следует пользоваться надежным паролем. Чем сложнее пароль, тем труднее его подобрать для взлома учетной записи. Онлайн сервисы генераторы паролей или программы менеджеры паролей помогут создать сложный, надежный пароль.

Если создано много разных паролей, их нереально все запомнить. Поэтому для хранения паролей подойдут программы — менеджеры паролей, например, бесплатная программа KeePass, или онлайн сервис LastPass. Для входа в приложение или на сервис хранения паролей, нужно будет создать и запомнить лишь один мастер-пароль, который должен быть надежным.

Вам также может быть интересно:

• Проверка сайта на мошенничество онлайн — 10 способов
• Проверка на вирусы онлайн — 5 сервисов

При двухфакторной аутентификации, для подтверждения входа в аккаунт, помимо ввода логина и пароля, на телефон пользователя придет SMS сообщение с дополнительным кодом, который необходимо ввести для входа в учетную запись или личный кабинет. Если вход совершается с другого устройства, а не с того, которое обычно используется, многие сервисы присылают предупреждения о попытке входа в аккаунт по электронной почте.

При проведении транзакций в интернете воспользуйтесь функцией «Безопасные платежи», которая встроена в некоторые антивирусы. Операция по переводу денег в интернете произойдет в изолированном окне браузера под защитой антивируса. Антивирус заблокирует кейлоггеры и возможность создания снимков экрана, будет следить за буфером обмена.

Each Password Now Has a Count Next to It

Is the password «abc123» worse than «acl567»? Most password strength meters would consider them equivalent because mathematically, they are. But as I’ve said before, password strength indicators help people make ill-informed choices and this is a perfect example of that. They’re both terrible passwords — don’t get me wrong — but a predictable keyboard pattern makes the former much worse and that’s now reflected in the Pwned Passwords data.

Now on the one hand, you could argue that once a password has appeared breached even just once, it’s unfit for future use. It’ll go into password dictionaries, be tested against the username it was next to and forever more be a weak choice regardless of where it appears in the future. However, I got a lot of feedback from V1 along the lines of «simply blocking 320M passwords is a usability nightmare». Blocking half a billion, even more so.

In V2, every single password has a count next to it. What this means is that next to «abc123» you’ll see 2,670,319 — that’s how many times it appeared in my data sources. Obviously with a number that high, it appeared many times over in the same sources because many people chose the same password. The password «acl567», on the other hand, only appeared once. Having visibility to the prevalence means, for example, you might outright block every password that’s appeared 100 times or more and force the user to choose another one (there are 1,858,690 of those in the data set), strongly recommend they choose a different password where it’s appeared between 20 and 99 times (there’s a further 9,985,150 of those), and merely flag the record if it’s in the source data less than 20 times. Of course, the password «acl567» may well be deemed too weak by the requirements of the site even without Pwned Passwords so this is by no means the only test a site should apply.

In total, there were 3,033,858,815 occurrences of those 501,636,842 unique passwords. In other words, on average, each password appeared 6 times across various data breaches. In some cases, the same password appeared many times in the one incident — often thousands of times — because that’s how many people chose the same damn password!

Now, having said all that, in the lead-up to the launch of V2 I’ve had people argue vehemently that they all should be blocked or that none of them should be blocked or any combination in between. That’s not up to me, that’s up to whoever uses this data, my job is simply to give people enough information to be able to make informed decisions. My own subjective view on this is that «it depends»; different risk levels, different audiences and different mitigating controls should all factor into this decision.

Интерфейс сайта Have I Been Pwned

После этого откроется главная страница сайта. Сервис «Have I Been Pwned?» работает на английском языке, для большего удобства переведите сайт на русский язык с помощью переводчика в браузере.

Из вкладок меню осуществляется переход на другие страницы сайта. Обычному пользователю будут полезны следующие разделы сайта:

• Во вкладке «Home» происходит проверка почтовых адресов.
• Во вкладке «Notify me» можно зарегистрироваться для получения уведомлений, если аккаунт будет взломан.
• Во вкладке «Domain search» можно получить информацию для поиска по домену.
• Во вкладке «Who’s been pwned» находится подробная информация о ресурсах, которые были подвергнуты взлому в разное время.
• Вкладка «Passwords» служит для проверки паролей.

Pwned Passwords in Action

Lastly, I want to call out a number of examples of the first generation of Pwned Passwords in action. My hope is that they inspire others to build on top of this data set and ultimately, make a positive difference to web security for everyone.

For example, Workbooks.com (they make CRM software, among other things) explains to customers that a Pwned Password is weak or has previously appeared in a data breach.

Then there’s Colloq (they help you discover conferences) who’ve written up a great piece with loads of performance stats about their implementation of the data.

Or try creating an account on Toepoke with a password of «P@ssw0rd» and see how that goes for you:

safepass.me also picked up the data and wrapped it into an offline commercial Active Directory filter (plus a free home version).

On the mobile front, there’s Pwned Pass in the Google Play store which sits on top of the existing API.

С какой целью создан сайт haveibeenpwned?

Сайт HIBP имеет две основные цели:

• информирование пользователей;
• поддержание и развитие практических навыков работы в области безопасности у создателя проекта.

Ошеломляющее количество взломанных данных включает в себя информацию о миллиардах пользователей, полученную от множества различных веб-сайтов, которые были каким-либо образом скомпрометированы. Достаточно посмотреть краткую статистику и ее масштабы, как минимум, приводят в ужас:

Через руки создателя проекта (Трой Ханта) проходят огромные базы данных персональной информации пользователей. Он не распространяет и не продает эти данные 3-м лицам, напротив — он дает возможность узнать: находитесь ли Вы, среди числа взломанных аккаунтов.

Хант начал работу еще в конце 2013 года. На тот период времени, он анализировал различного рода тенденции возникающие в нарушениях данных, например, как одно из общепринятых — использование одного и того же пароля для разных аккаунтов.

, — сказал Хант. Еще в октябре, 2013 году — компания Adobe была взломана, вследствие чего пострадали 153 миллиона пользователей, их учетные записи (адреса электронной почты, имена, пароли и другая информация) попала в руки к хакерам. Естественно, были и другие компании.

Если кто-то является потенциальной или уже реальной жертвой, при этом не знает об этом — он полностью подвергает себя риску. Хакер имеет возможность воспользоваться скомпрометированной информацией и применить ее в своих корыстных целях: обогащения, унижения, шантажа, уничтожения и другим методам социальной инженерии. Зачастую компании не информируют своих клиентов или пользователей о нарушении данных, до тех пор, пока это не произошло, что, как следствие их защищает и в то же время, делает их еще более уязвимыми для атак.

Если потенциальная жертва будет обладать информацией о нарушении — будет время для того, чтобы принять меры безопасности и защиты личных данных. Нарушения имеют довольно распространенный характер. Многие люди не подозревают какой масштаб и периодичность, с которой они возникают. Данные собранные на haveibeenpwned.com помогут жертвам не только узнать о существующих угрозах, но и позволят задуматься о серьезности рисков возникающих от кибератак в современном мире.