Вторая неделя курса “Анализ данных и машинное обучение в гидрологии”: материалы

Всем привет!

Вчера прошло второе занятие моего курса “Анализ данных и машинное обучение в гидрологии“. Я очень рад, что все, кто был на первом занятии, решили продолжить свое участие в курсе, а также тому, что к нам подключаются и новые люди. К слову, участников не из ИВП столько же, сколько и из ИВП. Низкий интерес к курсу со стороны сотрудников Института я связываю с высоким базовым уровнем подготовки наших специалистов.

Краткое содержание второй недели:

  1. Лекция:
    1. пересказал свою презентацию на Вторых Виноградовских чтениях (“Язык программирования Python в гидрологическом моделировании“);
    2. так как с момента презентации прошел год, то попытался сформулировать как за это время изменилась моя позиция (спойлер: никак);
  2. Практикум:
    1. установили на наши виртуальные машины Anaconda python distribution;
    2. установили систему контроля версий git;
    3. попытались разобраться зачем использовать git в своей научной работе (спойлер: потому что так вы становитесь котиком);
    4. “клонировали” рабочий репозиторий нашего курса в свои виртуальные машины;
    5. познакомились со средой разработки Jupyter notebook;
    6. посмотрели на базовые типы данных и конструкции языка Python;
    7. распарсили html-файл метеорологических данных с сайта гидромета с помощью библиотеки pandas, построили пару картинок.

Слайды лекции:

Слайды практикума:

Краткие итоги:

  • опять я недооценил время, которое может понадобиться для установки необходимого софта (anaconda+git)  и мы выбились за 1.5 часа;
  • несмотря на то, что установленные у участников виртуальные машины идентичны, порой происходят какие-то странные факапы, причину которых не всегда удается идентифицировать. Например, у всех установился git, а у одного участника нет. Или у всех anaconda прописалась в переменную среды PATH, а у одного участника нет. Стоит отдать ребятам должное, они смогли решить возникшие проблемы самостоятельно, но вот поймать причину таких несостыковок не получилось.
  • наверное, если данный курс будет продолжен, придется для участников арендовать инстанс на амазоне и накатывать туда Jupyter Hub – так, конечно, не будет ни линукса, ни git, зато jupyter notebooks будут работать из коробки;
  • мы действительно потратили много времени на организацию рабочей среды, но это вынужденная жертва – домашнего задания у участников нет, все делаем непосредственно на месте. Как вариант, конечно, можно использовать уже полностью подготовленную для программирования виртуальную машину (как предлагал в свое время Николай Колдунов). Плюс такого подхода – все работает из коробки, минус – отсутствие опыта установки новой операционной системы, работы с терминалом и т.д.;

Хочу ввернуть сюда еще небольшой комментарий на расхожее в нашем Институте (и не только) мнение, что “ученый должен изучать процессы, а не то, как там что посчитать в новомодной программке”. Дорогие мои коллеги, ну как и что изучать-то, если вы посчитать ничего не можете? Нельзя же тратить свою карьеру на зависание над графиками в эксель с “линией “тренда”, для которого вы даже p-уровень значимости не можете оценить, так как эксель его автоматически не считает (слава богу хоть коэффициент детерминации и уравнение показывает – иначе бы вообще финиш был половине российской науки).

На следующей неделе лекции не будет – только практика, только хардкодинг (что бы это ни значило)!

P.S. Если вы хотите, чтобы в рамках курса “Анализ данных и машинное обучение в гидрологии” был рассмотрен какой-то волнующий вас вопрос или проанализированы интересующие вас данные, то свяжитесь со мной – посмотрим, что можно сделать!

P.S.S. Не успели в рамках занятия посмотреть чудесный ролик про то, что программирование – это круто:

Advertisements

2 thoughts on “Вторая неделя курса “Анализ данных и машинное обучение в гидрологии”: материалы

  1. Милые мои

    Ужасный оборот “милые мои”, просто фу отстой какой!))) не могу
    Большое спасибо за курс лекций и за доступ к материалам

    Reply

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s