MistGPU博客

分享深度学习知识
提供在线GPU出租

Windows下上传和下载文件的使用教程

Deep Mist Tech's Avatar 2020-04-08

  1. 1. 概述
  2. 2. 云存储
    1. 2.1. 上传文件
    2. 2.2. 管理文件
    3. 2.3. 获取文件
    4. 2.4. 保存文件
  3. 3. Jupyter
    1. 3.1. 上传文件
    2. 3.2. 下载文件
  4. 4. 命令行
    1. 4.1. 上传文件
    2. 4.2. 下载文件
  5. 5. MobaXterm
  6. 6. Xftp
  7. 7. WinSCP

概述

本文将主要介绍Windows平台下各种上传文件到服务器和从服务器下载文件的方法,首先是建议使用我们提供的云存储功能和Jupyter附加功能,然后是win自带的命令行scp的使用,最后是一些第三方软件的使用简介。

云存储

为了减少用户创建服务器后准备数据带来的成本,我们提供了云存储的方式。用户提前上传数据到云存储后,开启任何一个服务器都能迅速准备好数据。

上传文件

首先进入控制台左侧的上传文件处,可以点击“选择文件”进行文件选择,按住Ctrl可选择多个文件。上传文件支持断点续传,故不用担心大文件在上传中途断线,重新上传将会在某个记录点继续上传。
要注意的是,我们暂时不支持上传文件夹或者>30G的文件,原因是上传速度会比我们建议的方式慢,且太大的文件虽然可以断点续传,但是由于您个人网络问题上传太久的话,您的上传token会失效导致需要您重新操作,造成不必要的麻烦。因此我们建议将数据压缩为zip文件再上传。收到上传成功的提示后,数据便会挂载到服务器的/data目录下。

管理文件

进入控制台左侧的上传文件处,可以看到“文件管理”按钮,点击便可以进入文件管理页面,可以一览您在云存储的所有文件,文件可批量删除,在该页面您也可查看当前存储总量和总存储费用。如果有些文件无法删除,可能是由于文件名的特殊字符导致的,可以直接使用 rm -rf 文件路径 进行删除。

获取文件

为了方便您任意创建一个服务器都能快速获取数据,我们建议您采用以下三种方式获取文件:
(1)直接解压文件(以.zip形式文件为例)到本地~/目录: unzip -d ~/ 文件路径 ,例如 unzip -d ~/ /data/my_data.zip
(2)用cp命令复制文件到本地~/目录下使用: cp 文件路径 ~/ ,例如: cp /data/my_data.zip ~/
(3)复制大文件到本地~/目录下用rsync –progress代替可以看到进度条: rsync --progress 文件路径 ~/ ,例如: rsync --progress /data/my_data.zip ~/ 注意要等文件传完才能解压哈,不然可能会显示文件缺损等问题
后两种方法如果是压缩包(.zip形式),可以使用 unzip 文件路径 解压后使用(例如在本地目录下 unzip my_data.zip )。要注意的是,建议不要直接在/data目录下将您压缩的文件进行解压,这样会造成不必要的空间占用,以及文件夹数据获取速度往往会比压缩包获取速度慢。

保存文件

您若非包月用户的话,在使用过程中难免会遇到机器被占用的情况,因此,如有必要,建议您在关机之前将关键的数据保存在云存储中,以便您在任何一个机器都能快速准备开始。同样建议您将关键文件夹压缩,然后复制回云存储挂载处:/data,下次在其他服务器使用时再通过上述操作获取数据。
(1)压缩:zip -r [打包后的文件名] [打包的目录路径] ,例如 zip -r ./my_data.zip ./my_data ,其中./表示是当前目录,my_data是当前目录的文件夹,压缩后的my_data.zip同样会保存在当前目录,因为有前缀./ 。
(2)复制回云存储挂载处: 这里的操作类似上面获取数据时的复制操作,不过是参数路径对换了而已。例如小文件可以使用: cp /data/ ./my_data.zip 表示的是将当前目录下的my_data.zip复制回/data/,即云存储挂载处。同理,大文件可以使用 rsync --progress /data/ ./my_data.zip
如果要将文件下载到您电脑,建议使用下面的诸多方法,相比普通方式上传花费的时间,普通方式下载文件的时间会短很多。关于云存储如果还有其他的问题或者建议,欢迎到控制台左侧“联系客服”处告诉我们!

Jupyter

点开服务器管理,在附加功能处看到我们提供的附加功能jupyter。Jupyter对于炼丹人来讲也是相当实用的,上传和下载文件功能俱全(上传文件速度会比使用云存储稍慢,上传小文件可以考虑用jupyter方便,大文件建议使用云存储),欢迎大家多多使用和探索jupyter。

上传文件

上图红色框展示了上传文件的按钮,点击即可选择相应文件加入上传列表,然后在出现的上传列表点击您想上传的文件即可开始上传(注意jupyter也是不支持文件夹上传的噢)。

下载文件

上图蓝色框展示了下载文件的方法,先选中文件或压缩包(注意jupyter不支持直接下载文件夹),然后上方会出现蓝色框所示的下载按钮,点击即可下载。

命令行

首先参照上一个SSH使用教程启动命令行并连接上服务器。

上传文件

关于上传文件,我们提供了两种方式:
scp上传文件:scp -P 40000 本地路径 mist@gpu28.mistgpu.xyz:~/
scp上传文件夹:scp -r -P 40000 本地路径 mist@gpu28.mistgpu.xyz:~/
在命令行中输入上述命令后会提示您输入密码,即创建服务器时的密码,然后就可以直接将文件从您电脑上传到服务器的本地目录~/下,上面命令中的本地路径形如:C:\\Users\\mist\\Desktop\\my_data.zip 就是您的文件在您电脑中的存储路径。

下载文件

关于下载文件,类似上传文件的指令,只是路径对调,同样是两种方式:
scp下载文件:scp -P 40000 mist@gpu28.mistgpu.xyz:服务器文件路径 本地路径
scp下载文件夹:scp -r -P 40000 mist@gpu28.mistgpu.xyz:服务器文件路径 本地路径
在命令行中输入上述命令后会提示您输入密码,即创建服务器时的密码,然后就可以直接将文件从服务器下载到您电脑上,上面命令中的本地路径形如:C:\\Users\\mist\\Desktop\\ 就是您想要文件在您电脑中存储的路径,服务器文件路径形如:~/my_data.zip 其中~/是服务器本地目录,等价于/home/mist/。完整例子如下所示:
scp -P 40000 -r mist@gpu28.mistgpu.xyz:~/my_data.zip C:\\Users\\mist\\Desktop\\

MobaXterm

在该下载链接获取该软件后安装打开。

第一步是点击“Session”来新建会话,在弹出来的设定窗口中选择上方的SFTP,在Basic Sftp settings进行服务器信息配置。以ssh mist@gpu28.mistgpu.xyz -p 40000为例,Remote host应填入gpu28.mistgpu.xyz,即服务器主机地址(一般在@后);在Username中填入mist,即用户名(一般在@前);最后将Port中的数字改成40000,即端口号(一般为-p后的数字),填充完如上图所示,然后点击下方的OK完成设定。完成后软件会试图连接,需要输入密码,输入在创建服务器时的密码后按下回车便能成功连接。成功连接后,可以查看到服务器的文件,随意拖拽本地文件到该软件中服务器一方可实现上传,将服务器中的文件拖拽出来可实现下载。

另一种方法就是参照上一个SSH使用教程,采用SSH方式进行连接,成功之后左侧会出现服务器文件列表(如上图所示),同样可以使用拖拽的方式上传和下载文件。

Xftp

在该下载链接获取该软件的家庭和学校用户免费版本(建议在获取下载链接的时候选中“两者”,即下载Xshell和Xftp,前者是操作服务器的命令行窗口,后者是专门用于文件传输的),后安装打开。

第一步一样是新建会话,在弹出来的设定窗口中,名称可任意填写,协议选择SFTP。以ssh mist@gpu28.mistgpu.xyz -p 40000为例,主机应填入gpu28.mistgpu.xyz,端口号中的数字改为40000。下方可以填写用户名和密码,用户名即mist,密码就是创建服务器时输入的密码。填充完如上图所示,然后点击下方的“连接”完成设定并主动尝试连接。成功连接后,可以查看到服务器的文件,随意拖拽本地文件到该软件中服务器一方可实现上传,将服务器中的文件拖拽出来可实现下载。

WinSCP

在该下载链接获取该软件后安装打开。

第一步一样是新建会话,以ssh mist@gpu28.mistgpu.xyz -p 40000为例,在弹出来的设定窗口中,主机名应填入gpu28.mistgpu.xyz,端口号中的数字改为40000,用户名填入mist,密码填入创建服务器时输入的密码,如上图所示。然后建议点击“保存”,并保存密码后登录,便可成功连接。成功连接后,可以查看到服务器的文件,随意拖拽本地文件到该软件中服务器一方可实现上传,将服务器中的文件拖拽出来可实现下载。

本文最后更新于 天前,文中所描述的信息可能已发生改变