Работать из терминала Jupyter/JupyterLab
В Jupyter и JupyterLab можно использовать терминал. Он работает как стандартная Linux-консоль с интерпретатором bash. В командной строке терминала можно исполнять привычные Linux-команды, такие, как ls , wget , git , pip list , pip install —user и др.
Доступны и некоторые специфические операции, например:
- подключиться по SSH к исполняемой задаче ;
- переместить данные из S3 в NFS и обратно .
- Запустить терминал
- Переместить данные между S3 и NFS с помощью командной строки
Запустить терминал
- Создайте Jupyter Server или подключитесь к уже существующему .
- Подключитесь к Jupyter Notebook в рамках Jupyter Server. Для этого нажмите Подключиться . По завершении откроется интерфейс Jupyter Notebook.
- В интерфейсе Jupyter нажмите New , затем Terminal . Откроется терминал.
Чтобы увидеть список поддерживаемых команд, наберите в командной строке:
aicloud --help
Переместить данные между S3 и NFS с помощью командной строки
Чтобы переместить данные:
-
Передайте параметры доступа к бакету S3.
aicloud s3-save-credentials 'YOUR_S3_NAMESPACE' 'YOUR_ACCESS_KEY_ID' 'YOUR_SECURITY_KEY'
Результат отобразится в командной строке:
S3 Credentials "" created
aicloud s3-copy 's3://your_bucket_name/mnist.npz' '/home/jovyan/'
- s3://your_bucket_name/mnist.npz — каталог, откуда копируются файлы.
- /home/jovyan/ — каталог, в который копируются файлы.
- Узнать лимит на количество файлов .
- О других способах перемещения данных
Необычная среда разработки Jupyter Notebook
Если вы хотите писать на Python или работать с Data Science, обратите внимание на интерактивную среду разработки с «живым» кодом — Jupyter Notebook — главного героя сегодняшней статьи.
Что такое Jupyter Notebook
Jupyter Notebook (или Jupyter-ноутбук) — бесплатное веб-приложение, в котором разработчики могут работать с кодом: писать и проверять функции, загружать файлы в память, обрабатывать содержимое и многое другое.
Главное отличие от других сред разработки в том, что код можно разбивать на куски (отдельные фрагменты), чтобы выполнять их в произвольном порядке. А еще в Jupyter-блокноте есть вывод результата сразу после фрагмента кода, благодаря чему можно увидеть график, диаграмму или получить предварительные цифры прямо в середине кода.
Поэтому Jupyter Notebook часто используют новички при изучении программирования на Python: можно писать код и сразу видеть результат своей работы. Однако основная область применения Jupyter — машинное обучение, нейросети, визуализация данных и статистика (это и есть Data Science).
Какие языки поддерживаются
Чаще всего Jupyter Notebook используют для работы с Python. Но поддерживаются и другие языки программирования, например:
Чтобы программировать на них, нужно использовать специальные «волшебные» команды — magic-command. Они позволяют запускать код на других языках и существенно расширяют возможности обычного Python. Для каждого из перечисленных выше языков есть отдельная инструкция по установке, поэтому это тема для отдельного поста. Дайте знать в комментариях, если хотите прочитать статью на эту тему.
Jupyter-ноутбук можно запустить двумя способами: на компьютере или в облаке.
Запуск на компьютере
Если вы сами хотите контролировать всё, что происходит с кодом и со средой разработки, тогда нужно установить Jupyter к себе на компьютер.
Как запустить Jupyter Notebook из консоли
Для этого понадобится один убунту-сервер (server Ubuntu 18.04). На этом сервере должны быть настроены пользователь без привилегий root с привилегиями sudo и брандмауэр. И, раз основная среда в таком ноутбуке — это Python, то для работы у вас уже должен быть скачан и установлен Python с загруженной библиотекой Jupyter.
Когда всё будет готово, введите в командную строку (terminal) эту команду:
pip3 install jupyter
Это активирует установочную утилиту — pip, основные задачи которой распаковывать, устанавливать и обновлять пакеты программ.
После перед вами появится сообщение Succellfull installed, что означает, что установка успешно завершена.
Теперь Jupyter Notebook готов к запуску. Чтобы открыть его, используйте команду:
Она запустит локальный сервер для работы ноутбука и покажет нам готовую среду разработки.
Как запустить Jupyter Notebook с помощью Anaconda
Еще один способ запустить Jupyter, который, к слову, подходит и для Windows — загрузить Anaconda. Это архивированный набор файлов с полезным софтом: Python, Jupyter, NumPy, pandas, Matplotlib.
Чтобы установить как Python, так и Jupyter Notebook, скачайте установщик Anaconda для своей платформы и запустите его. В мастере установки укажите параметр для добавления Anaconda в переменную PATH.
- После завершения установки, откройте консоль, нажав на клавиши Win+R.
- В появившемся окне введите cmd после чего нажмите Enter (во всех версиях Windows).
- В среде cmd введите команду: jupyter notebook, и вы сможете запустить редактор.
Запуск в облаке
Если нужно написать код здесь и сейчас без лишних заморочек, можете запустить Jupyter в облаке. Для этого нужно использовать специальные сервисы, работающие во всех браузерах, например, Google Colab. Здесь нет никаких нюансов: переходите по ссылке, следуйте указаниям и создавайте код.
Но сразу же отметим минусы этого способа: программа может работать не так быстро, как на локальной машине. Плюс в облаке может не оказаться нестандартных, но нужных библиотек.
Jupyter Notebook открылся — что делать дальше
С помощью Jupyter Notebook можно загружать файлы, которые будут перемещены в папку, из которой запускается сам ноутбук, и создавать свои файлы (ipynb и не только).
Также вы сможете редактировать и запускать код, по необходимости добавляя к нему текстовые комментарии-напоминалки или сообщения для совместной работы с коллегами.
Для начала работы запустите программу одним из описанных выше способов. URL-адрес приложения будет выглядеть так: https://localhost:8888/tree.
Теперь нажмите на кнопку Upload в правом верхнем углу, если хотите загрузить свой файл (например, в формате config). Если вы хотите написать код с нуля, создайте свой ipynb-файл, нажав на кнопку New.
Дальше всё зависит от цели. Можете писать код, можете писать текст, можете делать и то и другое. Кликайте на пустую ячейку (она пока одна) и … начинайте! Напишите выражение вывода, используя синтаксис Python 3 и нажмите «Run». Вот так за пару шагов вы создали свой фрагмент кода.
Чтобы создать новую ячейку, нажмите «+» на панели инструментов. Вырезайте, копируйте, удаляйте и редактируйте ячейки и markdown (разметку текста) с помощью вкладки Edit.
Как использовать горячие клавиши Jupyter Notebook
Если вы новичок, не пренебрегайте использованием горячих клавиш. В долгосрочной перспективе время на изучение окупится многократно, а пока можете использовать нашу статью в качестве подсказки.
Esc: Переключение между режимом выполнения и редактирования
A: Добавление пустой ячейки сверху
B: Добавление пустой ячейки снизу
DD: Удаления ячейки
C: Копирование ячеек
X: Вырезание ячеек
V: Вставка ячеек
Комбинируя их, вы сможете быстро совершать множество базовых действий.
Например, для перезапуска блокнота нажмите ESC + 00.
Чтобы прокрутить блокнот вниз, нажмите Space, или а Shift + Space — для прокрутки вверх.
Для запуска кода используйте:
- Shift+Enter — выполнение текущей ячейки и перевод фокуса на следующую.
- Ctrl+Enter — выполнение текущей ячейки и сохранение фокуса на текущей ячейке.
- Alt+Enter — выполнение текущей ячейки и перевод фокуса на новую ячейку созданную ниже.
Для быстрого удаления ячейки нажмите ESC + Z.
Если вы начали писать код в одной ячейке, но понимаете, что их всё же нужно разделить, не обязательно разделять текст вручную. Просто поставьте курсор в нужное место и используйте Control + Shift + или -.
Чтобы легко и быстро перемещаться к ячейке, которая выполняется в данный момент, нажмите Alt + I.
А если что-то пошло не по плану, можно пропустить выполнение ячейки, зажав %%script false.
Если не хочется морочиться с маркдауном и вручную проставлять #, используйте шорткаты: 1, 2, 3, 4, 5, 6.
Похожие команды есть и для конвертации типов ячеек
- Y — code,
- M — markdown,
- R — raw.
Чтобы открыть полный список горячих клавиш, нажмите Help → Keyboard Shortcuts в верхнем меню.
Желаем вам продуктивной работы с Jupyter Notebook. А если у вас у вас остались вопросы — оставляйте их в комментариях, мы поможем разобраться.
NeilAlishev / Instruction.md
Это очень частая проблема, которая появляется на некоторых ОС. Дело в том, что среда разработки запустилась, но браузер не открылся автоматически.
Как решить эту проблему?
В первую очередь, попробуйте запустить Anaconda Navigator с правами администратора (правой кнопкой мыши нажать на иконку Anaconda Navigator, во всплывающем меню выбрать «Запуск от имени администратора»). Теперь, запустите Jupyter Notebook.
Если все равно не открывается окно браузера, выполните инструкции описанные далее.
- Запустите программу, которая называется CMD.exe Prompt (может также называться Anaconda Prompt), нажав на Launch. Эта программа находится тут же, в Anaconda Navigator, рядом с программой Jupyter Notebook. После нажатия на Launch, должна открыться командная строка. Если этой программы нет в Anaconda Navigator, можно найти программу «Anaconda Prompt» на компьютере с помощью обычного поиска по программам.
- В этой командной строке мы должны выполнить команду jupyter notebook list (если команда не сработала, попробуйте сначала выполнить команду jupyter notebook list -V , а потом уже команду jupyter notebook list )
- Вышеупомянутая команда показывает тот адрес, по которому мы сможем получить доступ к нашей среде разработки. Адрес имеет вид: http://localhost:8888/?token=СЛУЧАЙНАЯ_ПОСЛЕДОВАТЕЛЬНОСТЬ_БУКВ_И_ЦИФР
Вам необходимо скопировать этот адрес, вставить его в адресную строку вашего браузера и перейти на эту страницу. После этого откроется среда разработки Jupyter Notebook. Можно работать.
Чтобы скопировать адрес из командной строки Windows, необходимо кликнуть правой кнопкой мыши в любом месте командной строки. В выпадающем меню надо выбрать пункт «пометить». После этого, можно будет выделить курсором интересующий нас адрес. После того, как адрес будет выделен, надо нажать на клавишу Enter на вашей клавиатуре. Готово — адрес скопирован в буфер обмена. Можно его вставлять в адресную строку браузера.
ОС Linux или Mac OS: Надо просто открыть терминал и там написать jupyter notebook Полученный адрес надо скопировать в адресную строку браузера.
P.S. Если Jupyter Notebook так и не запустился, можно использовать среду разработки PyCharm. Эта среда разработки ничуть не хуже, чем Jupyter Notebook, и тоже отлично нам подойдет.
Ipython notebook как запустить
Запуск Jupyter Notebook для вычислений
Использование: только для запуска уже подготовленных расчетов на сервере. Запрещается использовать установленный на сервере JUPYTER NOTEBOOK для учебной работы и для процесса разработки!
Для учебных целей рекомендуется использовать бесплатный web-сервис Google Colab .
Процесс запуска Jupyter Notebook на сервере:
1. Подключаемся по протоколу ssh к серверу gpu.hpc.susu.ru на порту 2222. Это можно сделать через Putty в Windows, ssh/cyberduck в Linux/Mac.
~$ ssh -p 2222 gpu.hpc.susu.ru
3. Вы должны будете попасть на сервер и увидеть приветственное сообщение с инструкцией по запуску Jupyter Notebook
Для работы с Jupyter Notebook выполните следующие команды:
4. Выполните команду
~$ module load anaconda/2020.07
5. Рекомендуется создавать личные окружения для работы с библиотеками:
6. Затем необходимо активировать окружение и перезапустить ssh подключение:
~$ conda init bash
7. Затем снова подключаемся к серверу и увидим, что перед именем пользователя появится следующее:
~$ ssh -p 2222 gpu.hpc.susu.ru
8. Это означает, что все выполнено корректно и можно подключаться к вашему окружению conda:
~$ conda activate
9. Вы увидите следующее:
10. Для того, чтобы Jupyter Notebook использовал установленные библиотеки необходимо установить его в ваше conda окружение:
~$ conda install jupyter notebook
11. После этого вы можете устанавливать необходимые библиотеки в ваше окружение, например:
~$ conda install tensorflow-gpu или conda install pythorch
12. Т.к. количество графических ускорителей ограничено необходимо указывать время жизни задачи или оно будет равно 1 часу по умолчанию после этого ваш Jupyter Notebook завершит свою работу и все процессы остановятся. Необходимо указывать время жизни задачи каждый раз! Все несохраненные данные будут утеряны
13. Запуск Jupyter Notebook с 2-мя любыми GPU, 2 ядрами процессора и временем жизни задачи 5 часов:
~$ sbatch —gres=gpu:2 -c 2 —time 5:0:0 run_notebook
14. Запуск Jupyter Notebook с 2-мя Tesla V100, 2 ядрами процессора и временем жизни задачи 5 часов:
~$ sbatch —gres=gpu:v100:2 -c 2 —time 5:0:0 run_notebook
15. Запуск Jupyter Notebook с 2-мя Tesla A30, 2 ядрами процессора и временем жизни задачи 5 часов:
~$ sbatch —gres=gpu:a30:2 -c 2 —time 5:0:0 run_notebook
16. Запуск Jupyter Notebook с 2-мя Tesla A100, 2 ядрами процессора и временем жизни задачи 5 часов:
~$ sbatch —gres=gpu:a100:2 -c 2 —time 5:0:0 run_notebook
17. Примечание: весь стандартный вывод будет находиться в файле notebook-.out (в том числе порт для «проброса » на локальную машину и токен).
Пример вывода в файле:
PORT TO USE: 4001
User’s jupyter not found. Loading system env.
[I 15:13:41.946 NotebookApp] The Jupyter Notebook is running at:
[I 15:13:41.946 NotebookApp] http://localhost:4001/?token=bd2a687a42e6073d982254bcb504601b45453764abfe64e5
18. После того, как задача начнет выполняться она получит статус «R » в squeue (список всех задач в очереди), нужно «пробросить » порт на локальную машину, чтобы получить доступ к выполняемому notebook из браузера:
- Для Linux/MacOS: из терминала локального ПК выполните команду:
ssh -p 2222 ВАШ_ЛОГИН@gpu.hpc.susu.ru -L 8080:localhost:
где 8080 — локальный порт для доступа в браузере, а — тот, что указан в выводе notebook-.out
Вам будет необходимо два раза ввести ваш пароль
- Для Windows предлагается использовать наиболее популярный ssh-клиент — Putty (в примере на скриншотах использовался порт 1339):
19. Теперь можно зайти в браузере на локальной машине по http://localhost:8080 , ввести токен из файла notebook-.out и выполнять расчеты.
Убедительная просьба в случае того, если расчёт в Jupyter Notebook был завершен ранее установленного времени нажать кнопку Quit в браузере или остановить свою задачу командой scancel [номер задачи] . Тем самым освободив ограниченные ресурсы!