Тема: Монтирование облачного диска (DropBox, Яндекс.Диск, Box.com, GoogleDrive)

Сообщение от ryzhov_al

С сегодняшнего дня в новом репозитории доступны пакеты davfs2 и wdfs c аналогичным функционалом: они позволяют смонтировать на роутере сетевой ресурс WebDAV.

Коллеги, davfs2 в текущем состоянии в Яндекс.Диск ничего не записывает, несмотря на отсутствие каких-либо сообщений об ошибках. Чтение проходит нормально, а записи в Яндекс.Диск нет вовсе. Ошибку раскопал ув.тов.Zyxmon.

ЗЫ С wdfs таких проблем нет, с Яндекс.Диском он работает как надо.

Сообщение от lohmat

Небольшой оффтоп: может сделаем другую, или переименуем эту тему на вариант что-то типа: "Подключение облачного диска (DropBox, Яндекс.Диск, webdav и т.д.)"

Сообщение от ryzhov_al

Тогда уже "Подключение облачных хранилищ (DropBox, Яндекс.Диск, Box.com и пр.)"

Имхо, стоит выделить в отдельную тему "Подключение Яндекс.Диск, Box.com и др. webdav ресурсов". Так как всё это работает через davfs в отличие от Dropbox

Небольшой оффтоп: может сделаем другую, или переименуем эту тему на вариант что-то типа: "Подключение облачного диска (DropBox, Яндекс.Диск, webdav и т.д.)"

Сообщение от MercuryV

Возможно некоторые особенности работы со Skydrive и MS Sharepoint учтут разработчики davfs.

Какие всё-таки жмоты в Microsoft! Их облачное хранилище можно использовать только для хранения документов MS Office. Путь горят в аду.

Сегодня получил Google Disk, но там собственный API, а клиентов в сырцах нет. Ждём пока чей-нить сумрачный гений сделает open source клиент.

В итоге, по открытости среди облачных хранилищ Яндекс трижды рулит.

Возможно некоторые особенности работы со Skydrive и MS Sharepoint учтут разработчики davfs
В багтрекере есть тикеты уже. тыц тыц

Сообщение от MercuryV

Специально попробовал еще раз сейчас. После логина наблюдаем:

Да, получил аналогичный результат, но списал на то, что у меня windows.com и microsoft.com в чёрном списке.

Значит, не работает, отбой.

Интересно, а как сетевую папку SkyDrive тоже больше не смонтировать?
Если так, то работать со SkyDrive на роутере можно только POST-запросами, но мне это кажется бесперспективным.

Сообщение от ryzhov_al

Коллеги, есть информация, что MS SkyDrive работает через WebDAV

AFAIK, информация устарела. Когда-то ранее, факт, описанный способ работал. Последние полгода уже нет.
Специально попробовал еще раз сейчас. После логина наблюдаем:

Код:

mount.davfs: connection timed out two times;
trying one last time
mount.davfs: server temporarily unreachable;
mounting anyway

Сообщение от MercuryV

Возможно некоторые особенности работы со Skydrive и MS Sharepoint учтут разработчики davfs.

Какие всё-таки жмоты в Microsoft! Их облачное хранилище можно использовать только для хранения документов MS Office. Путь горят в аду.

Сегодня получил Google Disk, но там собственный API, а клиентов в сырцах нет. Ждём пока чей-нить сумрачный гений сделает open source клиент.

В итоге, по открытости среди облачных хранилищ Яндекс трижды рулит.

Возможно некоторые особенности работы со Skydrive и MS Sharepoint учтут разработчики davfs
В багтрекере есть тикеты уже. тыц тыц

Сообщение от MercuryV

Специально попробовал еще раз сейчас. После логина наблюдаем:

Да, получил аналогичный результат, но списал на то, что у меня windows.com и microsoft.com в чёрном списке.

Значит, не работает, отбой.

Интересно, а как сетевую папку SkyDrive тоже больше не смонтировать?
Если так, то работать со SkyDrive на роутере можно только POST-запросами, но мне это кажется бесперспективным.

Сообщение от ryzhov_al

Коллеги, есть информация, что MS SkyDrive работает через WebDAV

AFAIK, информация устарела. Когда-то ранее, факт, описанный способ работал. Последние полгода уже нет.
Специально попробовал еще раз сейчас. После логина наблюдаем:

Код:

mount.davfs: connection timed out two times;
trying one last time
mount.davfs: server temporarily unreachable;
mounting anyway

Коллеги, есть информация, что MS SkyDrive работает через WebDAV. У меня ресурсы Microsoft на роутере занесены в чёрный список, поэтому проверить прошу вас.

1) Перейдите к SkyDrive и откройте в облачном хранилище любую папку, например, «Документы». URL в строке браузера будет иметь вид:

Код:

https://skydrive.live.com/#cid=xxxxxxxxxxxxxxxx&id=yyyyyyyyyyyyyyy!zzz

где xxxxxxxxxxxxxxxx - ваш персональный cid. Он нам понадобится на следующем шаге.

2) В роутере смонтируйте смонтируйте SkyDrive как WebDAV ресурс:

Код:

$ mkdir /tmp/skydrive
$ mount -t davfs https://docs.live.com/xxxxxxxxxxxxxxxx /tmp/skydrive

и после приглашения введите свои учётные данные Windows Live ID, например vasya@hotmail.com, P@ssw0rd.


ЗЫ Неплохую сводную табличку по возможностям популярных облачных хранилищ для простых смертных можно посмотреть здесь.

Сообщение от MercuryV

ryzhov_al, спасибо за davfs2
работает как должно, но хочу поделиться некоторыми наблюдениями насчет

Сообщение от ryzhov_al

устраивание из Я.Диска SAMBA-шары для совместной командной работы

тщательно я еще не тестировал, но есть признаки проблем

Это уже не актуально. В Windows XP и выше Яндекс.Диск можно смонтировать как сетевую шару средствами ОС:

Правда замеры скорости работы показывают плачевные 0,6Мб/c.

PS Оказывается в Википедии есть страничка с характеристиками облачных хранилищ, можно посмотреть там какие из них работают через WebDAV.

ryzhov_al, спасибо за davfs2
работает как должно, но хочу поделиться некоторыми наблюдениями насчет

Сообщение от ryzhov_al

устраивание из Я.Диска SAMBA-шары для совместной командной работы

тщательно я еще не тестировал, но есть признаки проблем
1) обращение через SMB-шару к точке монтирования davfs может внезапно приводить к запросу содержимого файла (проводник или Total Commander, к примеру, решат показать превью файлов или иконки отобразить)
2) закачка тяжелого файла в таких условиях и отдача его одновременно по самбе уже сильно напрягает рутер
3) davfs до кучи большой файл начинает кешировать (сейчас всё применительно к конфигу по-умолчанию). опять-таки пошла запись на диск.
4) кэш по-умолчанию лежит в /opt/var/cache/ - если /opt на флешке, может банально не хватить емкости.

возможно я попусту паникую, но пока буду осторожно пробовать подобные сценарии использования.

С сегодняшнего дня в новом репозитории доступны пакеты davfs2 и wdfs c аналогичным функционалом: они позволяют смонтировать на роутере сетевой ресурс WebDAV.

Например, для того чтобы облачное хранилище Яндекс.Диск появилось на роутере как локальный диск всего лишь необходимо набрать:

Код:

$ opkg install davfs2
$ mkdir /tmp/yandex_disk
$ mount -t davfs https://webdav.yandex.ru /tmp/yandex_disk

После чего Яндекс.Диск будет вам доступен как локальная папка. А дальше всё ограничено лишь вашей фантазией, например, можно организовать:

• забор роутером *.torrent-файлов и выкладывание скаченного контента в Яндекс.Диск,
• синхронизацию облаков Яндекс.Диск и Dropbox,
• бэкап файлов на Я.Диск, благо размер пересылаемых файлов ограничен лишь объёмом, выделенным вам на Яндекс.Диске,
• устраивание из Я.Диска SAMBA-шары для совместной командной работы,
• устраивание из Я.Диска папки с медиаконтентом для плеера. Например, будете удалённо подкладывать новые скачанные мультики своему чаду, находясь на работе^)
• you name it.

Здесь приведён пример того, как обойти запрос на принятие серверного сертификата для автоматизации монтирования.

Если у вас пока нет приглашения на тестирование Яндекс.Диска, то можно попробовать работу приложений с другими облаками, имеющими интерфейс WebDAV. Мне, например, удалось подключиться к Box.com. Хоть они и пишут что WebDAV у них доступен только с iOS, но файлы их облака читаются нормально.
Upd. А вот и статья на Хабре про использование box.com с помощью davfs2.

wdfs - легковесная утилита, состоящая из одного бинарника. В работе она по минимуму использует спецификацию WebDAV. С одной стороны, это позволяет общаться с любыми WedDAV-серверами, даже сильно капризными, как модуль WebDAV в lighttpd, не боясь вызвать ошибок о несуществующих расширениях стандарта, но с другой стороны набор её фич ограничен. Например, AFAIK, она не возвращает объём свободного места на подключенном хранилище.

davfs2 - более развесистая и тюнингуемая, с конфигурационными файлами и пр. Разработка wdfs остановилась в 2007-м году, а davfs2 развивается до сих пор. В репозитории версия от «18» марта 2012г.

Обе утилиты требуют для работы модуль fuse, соответствующий версии вашей прошивки.


Проверил работу davfs2 со следующими облачными хранилищами:

Сервис	Халявное место	Пример монтирования на роутере
Яндекс.Диск	10Гб	$ mount -t davfs https://webdav.yandex.ru /tmp/yandex_disk
4shared.com	15Гб	$ mount -t davfs https://webdav.4shared.com/ /tmp/4shared
Box.com	50Гб (промо)	$ mount -t davfs https://www.box.com/dav /tmp/box.com
Google Drive	5Гб	Только через сторонний сервис, на примере DAV-Pocket: $ mount -t davfs https://dav-pocket.appspot.com/docso /tmp/gdrive/

Сообщение от ryzhov_al

Достаточно просто, в Tutorial'е всё расписано с примерами. Только нужны базовые знания по Python.^)

Базовых знаний python-а нету Но, немного погуглив, доработал Ваш скрипт(делал по аналогии):

Коллеги, есть информация, что MS SkyDrive работает через WebDAV. У меня ресурсы Microsoft на роутере занесены в чёрный список, поэтому проверить прошу вас.

1) Перейдите к SkyDrive и откройте в облачном хранилище любую папку, например, «Документы». URL в строке браузера будет иметь вид:

Код:

https://skydrive.live.com/#cid=xxxxxxxxxxxxxxxx&id=yyyyyyyyyyyyyyy!zzz

где xxxxxxxxxxxxxxxx - ваш персональный cid. Он нам понадобится на следующем шаге.

2) В роутере смонтируйте смонтируйте SkyDrive как WebDAV ресурс:

Код:

$ mkdir /tmp/skydrive
$ mount -t davfs https://docs.live.com/xxxxxxxxxxxxxxxx /tmp/skydrive

и после приглашения введите свои учётные данные Windows Live ID, например vasya@hotmail.com, P@ssw0rd.


ЗЫ Неплохую сводную табличку по возможностям популярных облачных хранилищ для простых смертных можно посмотреть здесь.

Сообщение от MercuryV

ryzhov_al, спасибо за davfs2
работает как должно, но хочу поделиться некоторыми наблюдениями насчет

Сообщение от ryzhov_al

устраивание из Я.Диска SAMBA-шары для совместной командной работы

тщательно я еще не тестировал, но есть признаки проблем

Это уже не актуально. В Windows XP и выше Яндекс.Диск можно смонтировать как сетевую шару средствами ОС:

Правда замеры скорости работы показывают плачевные 0,6Мб/c.

PS Оказывается в Википедии есть страничка с характеристиками облачных хранилищ, можно посмотреть там какие из них работают через WebDAV.

ryzhov_al, спасибо за davfs2
работает как должно, но хочу поделиться некоторыми наблюдениями насчет

Сообщение от ryzhov_al

устраивание из Я.Диска SAMBA-шары для совместной командной работы

тщательно я еще не тестировал, но есть признаки проблем
1) обращение через SMB-шару к точке монтирования davfs может внезапно приводить к запросу содержимого файла (проводник или Total Commander, к примеру, решат показать превью файлов или иконки отобразить)
2) закачка тяжелого файла в таких условиях и отдача его одновременно по самбе уже сильно напрягает рутер
3) davfs до кучи большой файл начинает кешировать (сейчас всё применительно к конфигу по-умолчанию). опять-таки пошла запись на диск.
4) кэш по-умолчанию лежит в /opt/var/cache/ - если /opt на флешке, может банально не хватить емкости.

возможно я попусту паникую, но пока буду осторожно пробовать подобные сценарии использования.

С сегодняшнего дня в новом репозитории доступны пакеты davfs2 и wdfs c аналогичным функционалом: они позволяют смонтировать на роутере сетевой ресурс WebDAV.

Например, для того чтобы облачное хранилище Яндекс.Диск появилось на роутере как локальный диск всего лишь необходимо набрать:

Код:

$ opkg install davfs2
$ mkdir /tmp/yandex_disk
$ mount -t davfs https://webdav.yandex.ru /tmp/yandex_disk

После чего Яндекс.Диск будет вам доступен как локальная папка. А дальше всё ограничено лишь вашей фантазией, например, можно организовать:

• забор роутером *.torrent-файлов и выкладывание скаченного контента в Яндекс.Диск,
• синхронизацию облаков Яндекс.Диск и Dropbox,
• бэкап файлов на Я.Диск, благо размер пересылаемых файлов ограничен лишь объёмом, выделенным вам на Яндекс.Диске,
• устраивание из Я.Диска SAMBA-шары для совместной командной работы,
• устраивание из Я.Диска папки с медиаконтентом для плеера. Например, будете удалённо подкладывать новые скачанные мультики своему чаду, находясь на работе^)
• you name it.

Здесь приведён пример того, как обойти запрос на принятие серверного сертификата для автоматизации монтирования.

Если у вас пока нет приглашения на тестирование Яндекс.Диска, то можно попробовать работу приложений с другими облаками, имеющими интерфейс WebDAV. Мне, например, удалось подключиться к Box.com. Хоть они и пишут что WebDAV у них доступен только с iOS, но файлы их облака читаются нормально.
Upd. А вот и статья на Хабре про использование box.com с помощью davfs2.

wdfs - легковесная утилита, состоящая из одного бинарника. В работе она по минимуму использует спецификацию WebDAV. С одной стороны, это позволяет общаться с любыми WedDAV-серверами, даже сильно капризными, как модуль WebDAV в lighttpd, не боясь вызвать ошибок о несуществующих расширениях стандарта, но с другой стороны набор её фич ограничен. Например, AFAIK, она не возвращает объём свободного места на подключенном хранилище.

davfs2 - более развесистая и тюнингуемая, с конфигурационными файлами и пр. Разработка wdfs остановилась в 2007-м году, а davfs2 развивается до сих пор. В репозитории версия от «18» марта 2012г.

Обе утилиты требуют для работы модуль fuse, соответствующий версии вашей прошивки.


Проверил работу davfs2 со следующими облачными хранилищами:

Сервис	Халявное место	Пример монтирования на роутере
Яндекс.Диск	10Гб	$ mount -t davfs https://webdav.yandex.ru /tmp/yandex_disk
4shared.com	15Гб	$ mount -t davfs https://webdav.4shared.com/ /tmp/4shared
Box.com	50Гб (промо)	$ mount -t davfs https://www.box.com/dav /tmp/box.com
Google Drive	5Гб	Только через сторонний сервис, на примере DAV-Pocket: $ mount -t davfs https://dav-pocket.appspot.com/docso /tmp/gdrive/

Сообщение от ryzhov_al

Достаточно просто, в Tutorial'е всё расписано с примерами. Только нужны базовые знания по Python.^)

Базовых знаний python-а нету Но, немного погуглив, доработал Ваш скрипт(делал по аналогии):

Код:

#!/opt/bin/python
import cmd
import locale
import os
import pprint
import shlex
import sys
import time

from dropbox import client, rest, session

APP_KEY = 'xxx'
APP_SECRET = 'yyy'
ACCESS_TYPE = 'dropbox'
TOKEN_FILE = "/opt/var/token_store_dropbox.txt"



class StoredSession(session.DropboxSession):
    """a wrapper around DropboxSession that stores a token to a file on disk"""

    def __init__(self, consumer_key, consumer_secret, access_type,tokenFile, locale=None):
	self.tokenFile = tokenFile
	super(StoredSession,self).__init__(consumer_key, consumer_secret, access_type, locale);


    def load_creds(self):
        try:
            stored_creds = open(self.tokenFile).read()
            self.set_token(*stored_creds.split('|'))
	    return True
        except IOError:
	    return False

    def write_creds(self, token):
        f = open(self.tokenFile, 'w+')
        f.write("|".join([token.key, token.secret]))
        f.close()

    def delete_creds(self):
        os.unlink(self.tokenFile)

    def link(self):
        request_token = self.obtain_request_token()
        url = self.build_authorize_url(request_token)
        print "url:", url
        print "Please authorize in the browser. After you're done, press enter."
        raw_input()

        self.obtain_access_token(request_token)
        self.write_creds(self.token)

    def unlink(self):
        self.delete_creds()
        session.DropboxSession.unlink(self)


def main():
    if APP_KEY == '' or APP_SECRET == '':
        exit("You need to set a APP_KEY and APP_SECRET!")

    sess = StoredSession(APP_KEY, APP_SECRET, access_type=ACCESS_TYPE, tokenFile=TOKEN_FILE)

    #check command line arguments
    nextIsInput = False
    nextIsDir = False
    from_file_path = None
    dir_name = None
    for arg in sys.argv: 
	if arg == "-s":
             #setup mode
             sess.link()
	     exit("script is now ready to go")
	     break
	elif arg == "-p":
	     nextIsDir = True
	elif nextIsDir:
	     dir_name = arg
	     nextIsDir = False
        elif arg == "-f":
	     #next one is the input file
	     nextIsInput = True
	elif nextIsInput:
	     from_file_path = arg
	     nextIsInput = False
    
    if not from_file_path:
        exit("no arguments given")
    
    api_client = client.DropboxClient(sess)
    if not sess.load_creds():
	exit("You need to run this script in setup mode (-s option) before you can use it")



    from_file_path.strip()
    from_file = open(os.path.expanduser(from_file_path))
    from_file_parts = from_file.name.split("/")
    if not dir_name:
	 api_client.put_file("/" + from_file_parts[len(from_file_parts)-1], from_file)
    else:
         dir_name = dir_name.strip()
	 api_client.put_file("/" + dir_name +"/" + from_file_parts[len(from_file_parts)-1], from_file)

if __name__ == '__main__':
    main()

Зеленым отмечены мои вставки. Теперь ключом -p задается директория в dropbox, например:
uploadDropboxScriptF.py -f file -p dir
Если директории dir нет, то она создается.
Вроде, работает. =)

Сообщение от ryzhov_al

В связи с обновлением python в рерпозитории OpenWRT до версии 2.7.3rc2 необходима переустановка всех пакетов с модулями python.

Да, удалил питона полностью с зависимостями(--force-reinstall не помогал), установил снова и заработало, спасибо.

ryzhov_al, еще вопрос по работе скрипта uploadDropboxScript.py: как загружать файлы не в корень, а в определенную папку?

Сообщение от lohmat

в чем может быть проблема?

В связи с обновлением python в рерпозитории OpenWRT до версии 2.7.3rc2 необходима переустановка всех пакетов с модулями python.

Это единственный корректный способ вернуть в строй pyload, python-dropbox и другие программы, написанные на python.

Добрый день, хочу прикрутить скрипт отправки файлов на dropbox к motion, но споткнулся на конфигурации скрипта, на этом пункте:

Сообщение от ryzhov_al

[B]... Запустите скрипт с ключом "-s":

Код:

$ uploadDropboxScript.py -s

В ответ скрипт выдаст URL, который необходимо скопировать в адресную строку браузера и пройти по нему...

У меня выдает следующие:

Код:

[admin@WL-20CF30CE3F64 root]$ uploadDropboxScript.py -s
Traceback (most recent call last):
  File "/opt/bin/uploadDropboxScript.py", line 10, in <module>
    from dropbox import client, rest, session
  File "/opt/lib/python2.7/site-packages/dropbox/__init__.py", line 1, in <module>
    import client, rest, session
  File "/opt/lib/python2.7/site-packages/dropbox/client.py", line 8, in <module>
    import simplejson as json
ImportError: No module named simplejson

В phyton-е ничего не смыслю, в чем может быть проблема?

P.S.
Установленные пакеты:

Код:

[admin@WL-20CF30CE3F64 root]$ opkg list-installed
alsa-lib - 1.0.24.1-1
coreutils - 8.8-1
distribute - 0.6.21-1
ffmpeg - 0.8.7-1
ffprobe - 0.8.7-1
glib2 - 2.26.1-2
ldconfig - -104
libbz2 - 1.0.6-1
libc - -104
libffi - 3.0.9-1
libffmpeg-full - 0.8.7-1
libgcc - -104
libiconv-full - 1.11.1-1
libintl-full - 0.18.1.1-1
libjpeg - 6b-1
libncurses - 5.7-5
libopenssl - 1.0.1-1
libpthread - -104
librt - -104
libslang2 - 2.2.3-1
libstdcpp - -104
mc - 4.8.2-1
motion - 20110826-051001-2
nano - 2.2.6-1
openssl-util - 1.0.1-1
python - 2.7.3rc2-2
python-cjson - 1.0.5-1
python-dropbox - 1.4-1
python-mini - 2.7.3rc2-2
python-oauth - 1.0.1-1
python-openssl - 2.7.3rc2-2
simplejson - 2.2.1-1
terminfo - 5.7-5
uclibc-opt - 0.9.32-1
zlib - 1.2.5-1
[admin@WL-20CF30CE3F64 root]$