MistGPU博客

分享深度学习知识
提供在线GPU出租

Windows下上传和下载文件的使用教程

Deep Mist Tech's Avatar 2020-04-08

  1. 1. 概述
  2. 2. 云存储
    1. 2.1. 上传文件
    2. 2.2. 管理文件
    3. 2.3. 从云存储下载到服务器
    4. 2.4. 从服务器上传到云存储
  3. 3. Jupyter
    1. 3.1. 上传
    2. 3.2. 下载
  4. 4. scp命令
    1. 4.1. 上传
    2. 4.2. 下载
  5. 5. 其他软件
    1. 5.1. MobaXterm
    2. 5.2. Xftp
    3. 5.3. WinSCP
    4. 5.4. Cyberduck

概述

本文将主要介绍Windows平台下各种上传文件到服务器和从服务器下载文件的方法,首先是建议使用我们提供的云存储功能和Jupyter附加功能,然后是win自带的命令行scp的使用,最后是一些第三方软件的使用简介。

云存储

为了减少用户创建服务器后准备数据带来的成本,我们提供了云存储的方式。用户提前上传数据到云存储后,开启任何一个服务器都能迅速准备好数据。

上传文件

首先进入控制台左侧的上传文件处,可以点击“选择文件”进行文件选择,按住Ctrl可选择多个文件。上传文件支持断点续传,故不用担心大文件在上传中途断线,重新上传将会在某个记录点继续上传。
要注意的是,我们暂时不支持上传文件夹或者>30G的文件,原因是上传速度会比我们建议的方式慢,且太大的文件虽然可以断点续传,但是由于您个人网络问题上传太久的话,您的上传token会失效导致需要您重新操作,造成不必要的麻烦。因此我们建议将数据压缩为zip文件再上传。收到上传成功的提示后,数据便会挂载到服务器的/data目录下。

管理文件

进入控制台左侧的上传文件处,可以看到“文件管理”按钮,点击便可以进入文件管理页面,可以一览您在云存储的所有文件,文件可批量删除,在该页面您也可查看当前存储总量和总存储费用。如果有些文件无法删除,可能是由于文件名的特殊字符导致的,可以直接使用 rm -rf 文件路径 进行删除。

从云存储下载到服务器

可参考上上传数据集处的云存储使用说明。

  1. zip文件:在终端里输入unzip /data/文件名.zip -d ~/,将文件名换成实际上传的文件名字即可。
  2. 任意文件:在终端里输入cp /data/文件名 ~/即可复制到服务器主目录(/home/mist)下,
    或将cp更换为rsync,如rsync /data/文件名 ~/
    从云存储复制到服务器的耗时取决于文件大小服务器本身的下载速度,一般在5m/s左右。
    zip文件也可以复制到主目录下再解压。zip命令可用于解压.zip格式的文件。

从服务器上传到云存储

将文件复制到云存储的步骤和丛云存储下载类似:

  1. 压缩后保存到云存储中:终端里输入zip -rq9 /data/文件名.zip 目录名,即可将目录下的文件压缩成文件名.zip,存储在云存储中。
  2. 使用cprsync命令:cp 文件名 /data/rsync 文件名 /data/即可。
    从服务器上传到云存储的耗时也取决于文件本身大小服务器的上传速度
    执行过程中请耐心等候,否则会造成文件损坏。

Jupyter

点开服务器管理,在附加功能处看到我们提供的附加功能jupyter。Jupyter对于炼丹人来讲也是相当实用的,上传和下载文件功能俱全(上传文件速度会比使用云存储稍慢,上传小文件可以考虑用jupyter方便,大文件建议使用云存储)

上传

使用Jupyter可直接上传指定文件到Jupyter的当前目录(默认为主目录)
从附加功能里点开Jupyter的链接后,点下图所示的图标即可上传。

上传过程中可在底部看到进度条,等待进度条走完即可。

下载

在Jupyter内右键点击需要下载的文件(不支持下载文件夹)后选择Download即可。
若要下载文件夹则需要现在终端内使用unzip命令压缩。unzip -r9 保存后的文件名.zip 要压缩的目录名

scp命令

scp命令推荐Linux,macOS用户使用,Windows下由于路径表示方式不同不推荐使用。
使用scp命令上传需要在本机命令行中执行,需要提前ssh连接服务器。

上传

命令格式:scp -r -P端口号 要上传的文件/文件夹名 mist@服务器IP:目录

其中端口号服务器IP可以在控制台的使用帮助中查看。
ssh mist@gpu193.mistgpu.xyz -p 20500这台机器为例,端口号为20500,服务器IP为gpu193.mistgpu.xyz

要上传的文件/文件夹名按需填写,目录为上传后的服务器路径。

如本地当前目录下有个名为access的文件夹,想要上传到服务器的主目录下,则需写
scp -r -P 20500 access mist@gpu193.mistgpu.xyz:~/

和ssh连接一样,第一次连接时需要输入yes同意密钥后再输入密码。

之后在服务器的主目录下即可看到access文件夹。

下载

下载命令与上传命令类似,只需要对调本地和远程路径即可。
scp -r -P端口号 mist@服务器IP:目录或文件名 本地路径

其他软件

MobaXterm

在该下载链接获取该软件后安装打开。

第一步是点击“Session”来新建会话,在弹出来的设定窗口中选择上方的SFTP,在Basic Sftp settings进行服务器信息配置。以ssh mist@gpu28.mistgpu.xyz -p 40000为例,Remote host应填入gpu28.mistgpu.xyz,即服务器主机地址(一般在@后);在Username中填入mist,即用户名(一般在@前);最后将Port中的数字改成40000,即端口号(一般为-p后的数字),填充完如上图所示,然后点击下方的OK完成设定。完成后软件会试图连接,需要输入密码,输入在创建服务器时的密码后按下回车便能成功连接。成功连接后,可以查看到服务器的文件,随意拖拽本地文件到该软件中服务器一方可实现上传,将服务器中的文件拖拽出来可实现下载。

另一种方法就是参照上一个SSH使用教程,采用SSH方式进行连接,成功之后左侧会出现服务器文件列表(如上图所示),同样可以使用拖拽的方式上传和下载文件。

Xftp

在该下载链接获取该软件的家庭和学校用户免费版本(建议在获取下载链接的时候选中“两者”,即下载Xshell和Xftp,前者是操作服务器的命令行窗口,后者是专门用于文件传输的),后安装打开。

第一步一样是新建会话,在弹出来的设定窗口中,名称可任意填写,协议选择SFTP。以ssh mist@gpu28.mistgpu.xyz -p 40000为例,主机应填入gpu28.mistgpu.xyz,端口号中的数字改为40000。下方可以填写用户名和密码,用户名即mist,密码就是创建服务器时输入的密码。填充完如上图所示,然后点击下方的“连接”完成设定并主动尝试连接。成功连接后,可以查看到服务器的文件,随意拖拽本地文件到该软件中服务器一方可实现上传,将服务器中的文件拖拽出来可实现下载。

WinSCP

在该下载链接获取该软件后安装打开。

第一步一样是新建会话,以ssh mist@gpu28.mistgpu.xyz -p 40000为例,在弹出来的设定窗口中,主机名应填入gpu28.mistgpu.xyz,端口号中的数字改为40000,用户名填入mist,密码填入创建服务器时输入的密码,如上图所示。然后建议点击“保存”,并保存密码后登录,便可成功连接。成功连接后,可以查看到服务器的文件,随意拖拽本地文件到该软件中服务器一方可实现上传,将服务器中的文件拖拽出来可实现下载。

Cyberduck

macOS用户可使用Cyberduck下载链接浏览并上传、下载文件。

  • 下载安装后点击左上角open connection新建连接
  • 连接类型选择sftp
本文最后更新于 天前,文中所描述的信息可能已发生改变