Блог Kim Tools

Как скачать сайт целиком в Mac OS?

Просмотров: 24496Комментарии: 39
Cоветы и секреты Mac OSHackintosh
В конце прошлого года мне нужно было выкачать несколько сайтов, потому что в ручную сохранять текстовую информацию дело очень кропотливое и долгое.

Начал искать соответствующие приложения. Но, как оказалось, этих приложений единицы, к тому же стоят они не мало.

Mac OS UNIX-подобная операционная система, следовательно, можно попробовать выкачать с помощью wget. Но не тут-то было, wget отсутствует в Mac OS. Пошел на поиски wget для Mac OS и вскоре нашел нужный пакет. Ну а дальше установка и работа в консоли.

Устанавливаем [dc]wget[/dc].

Как скачать сайт в mac os

Переходим на рабочий стол. Вы можете сохранить сайт в другом месте.

Как скачать сайт в mac os

В консоли выполним следующую команду:

wget -r -k -l 1 -p -E -nc http://yandex.ru

Как скачать сайт в mac os

После скачивания на рабочем столе появилась папка www.yandex.ru

Как скачать сайт в mac os

Переходим в папку, щелкаем по файлу index.html и в открывшемся браузере видим локальную копию Яндекса.

Как скачать сайт в mac os

А теперь немного подробнее о параметрах wget.

-r – данный параметр указывает на то, что нужно рекурсивно переходить по ссылкам на скачиваемом сайте.

-k – данный параметр используется для того, чтобы wget преобразовал все ссылки в загруженных файлах для последующего просмотра в автономном режиме.

-l – данный параметр задает максимальную глубину вложенности страниц, которые wget должен скачать. В своем примере я указал 1 (единица), в результате загрузилась только главная страница. Рекомендуется устанавливать данный параметр на значении 5-8. Если установить большее значение, то wget может “зарыться” так глубоко, что скачивание будет идти бесконечно.

-p – данный параметр нужен для того, чтобы загрузить все файлы, которые нужны для корректного отображения страниц (изображения, css, java и т.д.).

-E – данный параметр добавляет к загруженным файлам (страничкам) расширение .html.

-nc – данный параметр исключает перезапись существующих файлов. Это может быть полезно, если сайт не загрузился за раз, либо загрузка была прервана по каким-либо причинам.

Как видите, все очень просто!

Комментариев: 39 RSS

1 Игорь 05-05-2015 13:55

Большое спасибо! Благодаря Вам, смог сохранить необходимый сайт, не понял как все произошло, но задача выполнена, следовал вашим понятным подробным инструкциям. Еще раз Большое Спасибо!

2 Konstantin 05-05-2015 16:36

Игорь, пожалуйста! Действительно, все просто и не надо устанавливать дорогие приложения.

3 Дмитрий 22-06-2015 13:37

просто супер! спасибо хотя я чайник в этом деле просто внимательно прочитал и все сделал как написано скачал сайт который мне нужен! Автор спасибо!

5 Anton 18-08-2015 15:55

Подскажите пожалуйста, а что делать, если все страницы на сайте прописаны через http:// ? тогда скачивается только index.html, какую глубину бы не устанавливал. и следовательно все данные кроме главной грузятся с сайте донора.

Заранее благодарю за ответ.

6 Konstantin 18-08-2015 17:30

Anton, странно, я уже скачал много сайтов, все страницы начинаются с http. Проблем не возникало. Может не правильно понял ваш вопрос...

7 Anton 31-08-2015 18:24

Konstantin, наверное не правильно поняли. Не скачиваются страницы, которые в коде прописаны через http://

Прикрепляю пример в скриншоте:

http://monosnap.com/image/Zqb8lvdJYHlVSsGYXoy5cThsLMfUev

Данные файлы не скачаются, так как прописаны через http://, а не просто директориями со слешем в начале.

Вот когда прописано так, тогда скачиваются:

/services/third-party/requirejs/2.1.15/require.min.js

8 Konstantin 02-09-2015 10:11

Anton, я скачивал сайты с js, но таких проблем не было. Даже не знаю почему у вас так.

9 Антон 10-10-2015 12:12

-e robots=off заставит wget игнорировать robots.txt

10 Артур 26-10-2015 20:38

Добрый день!

Хочу загрузить большой сайт со всей базой товаров. Около 2 миллионов.

На сайте работает поиск по сайту. Будет ли он работать на моем компьютере по завершению загрузки?

Сайт весит 2 ТБ.

11 Konstantin 05-11-2015 05:07

Здравствуйте, Артур!

Я сомневаюсь, что такой большой сайт можно будет скачать и ссылки потом будут работать правильно. Но попробовать можно.

14 Андрей 02-02-2016 13:13

Спасибо большое! Автор ты просто спаситель!

Все работает, оперативку не жрет, не глючит, А про скорость я вообще молчу!

ЭТО ГЕНИАЛЬНО

18 Goood_Luck 24-02-2016 03:09

Привет. Скачал, проинсталировал. Куда стала не понятно. Ни чего на рабочем столе нет. Использую El Capitan.

19 Konstantin 24-02-2016 18:30

Goood_Luck, привет. Wget нет нив программах, ни на рабочем столе. Вся работа с этим пакетом идет через консоль!

Начиная со второй картинки все описано (команды), на видео тоже все подробно.

20 Goood_Luck 26-02-2016 04:35

Всё получилось, но к сожалению скачать смог только титульную страничку, несмотря на значение после -l

21 Konstantin 26-02-2016 13:17

Goood_Luck, попробуйте так: wget -r -k -l 5 -p -E -nc http://yandex.ru

Скопируйте эту команду в буфер и вставьте в консоли.

22 Goood_Luck 27-02-2016 01:03

Всё сделал как Ва написали. Вот результат:

Загружено: 1 файлов, 50K за 0.1s (339 KB/s)

Встречена неполная или недопустимая многобайтовая последовательность

Встречена неполная или недопустимая многобайтовая последовательность

Встречена неполная или недопустимая многобайтовая последовательность

Встречена неполная или недопустимая многобайтовая последовательность

Преобразование yandex.ru/index.html... 0-33

Преобразовано 1 файлов за 0.004 секунд.

23 Konstantin 27-02-2016 10:06

Goood_Luck, я не знаю почему у вас скачивается только одна страница. Попробуйте другой терминал, например, скачайте iTerm2 http://iterm2.com/.

24 Goood_Luck 28-02-2016 03:06

ЗАВЕРШЕНО --2016-02-27 23:05:31--

Общее время: 0.9s

Загружено: 1 файлов, 50K за 0.1s (337 KB/s)

Встречена неполная или недопустимая многобайтовая последовательность

Встречена неполная или недопустимая многобайтовая последовательность

Преобразование yandex.ru/index.html... 0-33

Преобразовано 1 файлов за 0.007 секунд.

13 MacBookPro:Desktop Mac$

25 Konstantin 28-02-2016 23:23

Goood_Luck, может быть в Капитане такой способ не работает... Я скачивал сайты на Yosemite.

26 Александр 07-03-2016 19:12

привет, не скажите возможно ли (и как) при этом скачивать сайт требующий авторизации?

27 Konstantin 20-03-2016 22:44

Привет, Александр. Не скажу, не пробовал...

28 Денис 17-06-2016 13:15

у меня тоже скачивает не на рабочий стол, а в папку пользователя, поиск в помощь

30 Konstantin 10-10-2016 14:03

Иван, чтобы "изменять" скачанный сайт, нужно знать основы html...

31 Сергей 01-01-2017 02:44

Добрый день. Проблема со скачкой сайта с https

Логи

iMac-Sergej:~ sergej$ wget -r -k -l 5 -p -E -nc https://arno-werk.ru

--2017-01-01 00:37:17-- https://arno-werk.ru/

Resolving arno-werk.ru... 178.210.88.172

Connecting to arno-werk.ru|178.210.88.172|:443... connected.

OpenSSL: error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure

Unable to establish SSL connection.

Converted 0 files in 0 seconds.

32 Konstantin 09-01-2017 23:48

Сергей, здравствуйте.

Не знаю чем помочь. Может у вас последняя версия Mac OS? И wget работает некорректно?

33 Vadim 10-02-2017 21:33

Скажите, а есть ли возможность поставить на паузу закачку? Или просто отключиться от сети и когда она появится зскачивание продолжится автоматически?

34 Konstantin 12-02-2017 00:25

Vadim, считаю, такой возможности нет.

35 SergeyK 29-06-2017 18:32

Добрый день! Раньше скачивал сайты, адрес которых прописан на латинице, без проблем. Сегодня попробовал скачать сайт на кириллице, не получилось. Может быть вы сталкивались с данным вопросом? Как его решить?

36 Константин 01-07-2017 11:33

спасибо, выручил. респект и уважуха)

38 Konstantin 04-07-2017 12:04

SergeyK, попробуйте переконвертировать кириллический домен в punycode (латиницу). Конверторов полно, ищите в поиске.

39 Силя 16-11-2017 18:48

Спасибо. Все получилось! Подскажите пожалуйста почему картинки скачиваются не на компьютер, а на https://daks2k3a4ib2z.cloudfront.ne

Оставьте комментарий!

grin LOL cheese smile wink smirk rolleyes confused surprised big surprise tongue laugh tongue rolleye tongue wink raspberry blank stare long face ohh grrr gulp oh oh downer red face sick shut eye hmmm mad angry zipper kiss shock cool smile cool smirk cool grin cool hmm cool mad cool cheese vampire snake excaim question


Комментарий будет опубликован после проверки