Презентация Общие принципы взаимодействия программных средств. Протоколы онлайн

Содержание слайда: Общие принципы взаимодействия программных средств. Протоколы Судаков А.А. “Параллельные и распределенные вычисления” Лекция 4

Содержание слайда: План Взаимодействие программ для распределенных и параллельных вычислений Протоколы Работа с удаленными ресурсами Особенности технологий для распределенных вычислений

Содержание слайда: Взаимодействие программ На одной машине - совместно используемые ресурсы (память, файлы) На разных машинах - обмен сообщениями

Содержание слайда: Проблема взаимодействия Разные программы могут хранить данные в разном формате Разные компиляторы могут генерировать структуры данных в разных форматах Разные аппаратные платформы могут иметь разный формат представления данных Разные средства взаимодействия могут передавать данные по-своему

Содержание слайда: Примеры Формат даты в одной программе YY-MM-DD Формат даты в другой программе DD-MM-YY Если одна программа запишет 02-02-12 То в другой программе вместо 12 февраля 2002 года будет 2 февраля 2012 года

Содержание слайда: Разный порядок байтов Int Intel представляет как HP представляет как Если на Intel сохранить число 1, то на HP прочитается как 16 миллионов

Содержание слайда: Протоколы Протокол – набор формальных правил, которые определяют, каким образом программы и устройства должны взаимодействовать между собой Протоколы взаимодействия между программами по сети Протоколы взаимодействия между программами с общей памятью Протоколы передачи информации по физическим линиям

Содержание слайда: Основная идея Вопрос: Как просто сделать, чтобы две разные программы могли в взаимодействовать между собой? Ответ: Добавить новый программный уровень, который скрывает детали взаимодействия. Тогда программы должны уметь только взаимодействовать с этим уровнем

Содержание слайда: Основной подход к реализации протоколов Инкапсуляция – информация одного протокола становится данными другого протокола Сериализация – сложные структуры данных представляются в виде потока байтов

Содержание слайда: Модель OSI

Содержание слайда: Инкапсуляция

Содержание слайда: Сериализация/десериализация Сериализация (marshalling) - Представление сложной структуры данных в виде потока байтов Десериализация (unmarshalling) – Восстановление сложной структуры данных из потока байтов Синоним – упаковка/распаковка

Содержание слайда: Сериализация бинарного дерева

Содержание слайда: Преимущества и недостатки Преимущество – применение стандартных протоколов позволяет упростить проблему взаимодействия для конечных программ Недостаток – большое количество инкапсуляций приводит к снижению эффективности коммуникации: передается большое количество «лишних данных»

Содержание слайда: Выводы Любую проблему взаимодействия можно решить добавлением нового уровня взаимодействия Любую проблему эффективности можно решить удалением уровней взаимодействия

Содержание слайда: Протоколы разных уровней Прикладной ssh, rsh Представления mpi, pvm, http, xmtp Сеансовый RPC, CORBA, LDAP, NIS, Netbios Протоколы транспортного уровня TCP, UDP Протоколы сетевого уровня IP Протоколы канального уровня Ethernet, Myrinet, SCI Протоколы физического уровня: передача по оптоволокну, по медным проводам

Содержание слайда: Информация по стандартам и протоколам Internet протоколы RFC (request for comments) http://www.faqs.org/rfcs Message passing interface (MPI) http://www-unix.mcs.anl.gov/mpi/ XML-RPC http://www.xmlrpc.com/ PVM http://www.netlib.org/pvm3/ CORBA http://www.corba.org/ Myrinet http://www.myri.com/ IEEE http://standards.ieee.org/

Содержание слайда: Физический уровень Средства передедачи информации на уровне устройств Передатчики, приемники, кабели, усилители, повторители, конверторы Для параллельных вычислений чаще всего используются скоростные линии на медном проводе и оптоволокне Ethernet, Myrinet, Infiniband - витая пара, коаксиальный кабель, оптоволокно SCI – шлейф медных проводов

Содержание слайда: Канальный уровень Логическая переадресация от одного физического устройства к другому Заголовок содержит MAC адреса – логический адрес устройства источника и приемника Протоколы Ethernet Myrinet Infiniband SCI

Содержание слайда: Сетевой уровень Передача от одной машины к другой в пределах логических сетей, маршрутизация Internet протокол (IP), SCI Пример заголовка – IP адрес источника, IP адрес приемника Конфигурируется администратором или автоматически

Содержание слайда: Транспортный уровень Доставка информации от одной программы на одной машине до другой программы на другой машине В заголовок добавляется порт источника и порт приемника Примеры UDP (RFC 768) негарантированная доставка дейтаграмм TCP (RFC 761 ) гарантированная доставка по виртуальным каналам Обмен через общую память

Содержание слайда: Протокол TCP Клиент – серверная модель Один процесс (сервер) «слушает» на приходящие соединения Множество процессов (клиентов) инициируют «соединение» с сервером Каждое соединение – виртуальный канал гарантирует доставку сообщений в потоке

Содержание слайда: Сессионный уровень Создание прозрачных для пользователя виртуальный сеансов поверх транспортных протоколов RPC – вызов удаленных процедур X Window – протокол удаленной графической консоли Сетевые файловые системы Распределенные системы имен (NIS, LDAP) GRID middleware Фактически функционирование распределенных операционных систем и их компонент

Содержание слайда: Уровень представления данных Сериализация/десериализация xml, html Шифрование/дешифрование Openssl Сжатие/разархивация gzip

Содержание слайда: Уровень прикладных программ Каждое распределенное или параллельное приложение может иметь свой протокол обмена данными Стандартные протоколы Удаленный обработчик команд rsh, ssh Удаленный терминал telnet, rlogin, slogin

Содержание слайда: Распределенне информационные системы Представление Логика работы Доступные ресурсы

Содержание слайда: Основные подходы к разработке Сверху вниз Исходя из того, что нужно клиенту выбирается представление информации, определяется логика выбираются необходимые ресурсы Снизу вверх Исходя из того, какие есть ресурсы Выбираем логику работы Исходя из нужд клиента представляем информацию

Содержание слайда: Основные подходы к построению распределенных платформ Клиент-сервер Клиент непосредственно взаимодействует с сервером Для каждого клиента свой тип сервера Параллелизм на уровне приложений Промежуточное программное обеспечение (middleware, программное обеспечение среднего уровня) Клиент взаимодействует с промежуточным программным обеспечением на своей машине, которое «знает» о серверах Параллелизм на уровне приложений, процедур, объектов Сервер приложений Один тип клиентов и один тип серверов (WWW) Сервер взаимодействуют с промежуточным программным обеспечением, которое работает с необходимыми ресурсами

Содержание слайда: Типы распределенных приложений Одноярусные (one tier) Мейнфрейм-терминал Двухярусные (two tier) СУБД – интерфейс, X Window, терминал-сервер Трехярусные (three tier) Вызовы удаленных процедур Многоярусные (many tier) Сервер приложений, WWW технология

Содержание слайда: Одноярусные (one tier) Сервер – «умный» - всю логику работы и представление информации выполняет сервер Клиент – «тупой» - только принимает информацию, которую передает сервер Особенности Клиент непосредственно взаимодействует с сервером Для каждого клиента свой тип сервера Параллелизм на уровне приложений Преимущества Просто создавать, настраивать и контролировать Эффективное совместное использование ресурсов Недостатки Не используются возможности клиента Большая нагрузка на сервер Нельзя построить очень большую систему – сервер узкое место в плане надежности

Содержание слайда: Двухярусные (two tier) Сервер – «мощный» - выполняет всю логику и часть отображения Клиент – «красивый» - выполняет большую часть работы по представлению информации Особенности Клиент непосредственно взаимодействует с сервером Для каждого клиента свой тип сервера Параллелизм на уровне приложений Преимущества Те же, что и one tier Сервер не занимается лишней работой по представлению информации и может работать более эффективно Недостатки Нельзя построить очень большую систему – сервер узкое место в плане надежности Усложняется программное обеспечение, необходимо стандартизировать API (Application Rrogramming Interface)

Содержание слайда: Трехярусные (three tier, middleware) Клиенты и сервера взаимодействуют через промежуточный «слой программного обеспечения» Особенности Клиент взаимодействует с промежуточным программным обеспечением на своей машине, которое «знает» о серверах Параллелизм на уровне приложений, процедур, объектов Преимущества Децентрализация Обеспечение надежности, балансировки нагрузки, производительности Теоретически нет ограничений на выполняемые функции, масштабируемость, размеры системы Недостатки Сложное программное обеспечение Необходимость введения нового уровня может привести к большим затратам на взаимодействие Возможность существования несовместимых реализаций

Содержание слайда: Многоярусные (many tier) Один тип клиентов и один тип серверов (WWW, сервер приложений) Особенности Сервер взаимодействуют с промежуточным программным обеспечением, которое работает с необходимыми ресурсами Преимущества Решается проблема стандартизации системы – общий протокол взаимодействия многих клиентов с сервером Недостатки Сложность

Содержание слайда: Клиент-сервер (терминальный доступ) Серверу назначается стандартный порт транстпортного протокола (TCP, UDP) Клиент соединяется с хост-машиной сервера указывая сетевой адрес и порт транспортного протокола Устанавливается сеанс и начинается обмен данными

Содержание слайда: Серверы на обычной машине

Содержание слайда: Запуск удаленных программ и перенаправление ввода-вывода

Содержание слайда: Преимущества и недостатки Преимущества Возможность использования для распределенных вычислений самых обычных программ Параллелизм на уровне приложений (конвейер, SIMD, MIMD) Простота и надежность Недостатки Есть возможность работы только в пространстве пользователя Необходимость разработки протокола прикладного уровня для взаимодействия программ Запуск программы сравнительно медленная операция

Содержание слайда: SSH SSH – secure shell Терминальный доступ Запуск программ на удаленных машинах Шифрование с открытым ключом Авторизация Передача файлов Переадресация соединений

Содержание слайда: Схема работы

Содержание слайда: SSH сервер Клиент-серверная платформа Сервер sshd работает на тех машинах, к которым необходимо осуществлять доступ Используется TCP/IP, TCP порт 22 Сервер слушает необходимый порт Принимает соединение Аутентифицирует и авторизует пользователя Запускает команды пользователя К одному серверу может присоединяться множество клиентов

Содержание слайда: SSH клиент Позволяет присоединиться к машине, где работает sshd и выполнять там команды пользователя

Содержание слайда: Аутентификация и авторизация При входе на удаленную машину необходимо пройти проверку прав доступа Аутентификация – определение “кто такой, откуда, куда, зачем …” Авторизация – что определенному пользователю можно делать

Содержание слайда: SSH авторизация На основе имени пользователя и пароля На основании открытого ключа – без пароля

Содержание слайда: Ключи Приватный ключ позволяет расшифровать данные, а публичный – зашифровать Генерация пары ключей Приватный /home/<user>/.ssh/id_dsa Публичный /home/<user>/.ssh/id_dsa.pub

Содержание слайда: Авторизация ключа Публичный ключ должен быть записан на удаленном узле в файл /home/<user>/.ssh/authorized_keys После этого возможен доступ без пароля

Содержание слайда: Запуск команд на удаленной машине Команда, которая запускается указывается как параметр ssh Стандартный ввод и стандартный вывод команды соответствует стандартному вводу-выводу ssh клиента Пример: cat выполняется на node2, а wc – на cluster

Содержание слайда: Запуск виртуальных машин Большинство параллельных программ, которые рассчитаны на работу с кластерами используют ssh GAMESS Виртуальные машины MPI, PVM используют ssh

Содержание слайда: RSH – remote shell Более старый вариант без шифрования Порты 514/shell и 513/login Работа через демон inetd Есть возможность установить доступ без пароля

Содержание слайда: Особенности rsh Inetd слушает необходимые порты, при наличии соединений запускает обработчик запросов с этого порта in.rlogind удаленный терминал in.rshd удаленное выполнение команд

Содержание слайда: Доступ по rsh без пароля Файл /etc/hosts.equiv администратор добавляет список авторизированных машин Файл ~/.rhosts пользователь добавляет список авторизированных машин