手撸了一个文件传输工具

在日常的开发与运维中，文件传输工具是不可或缺的利器。无论是跨服务器传递配置文件，还是快速从一台机器下载日志文件，一个高效、可靠且简单的文件传输工具能够显著提高工作效率。今天，我想分享我自己手撸一个文件传输工具的全过程，包括需求场景、技术点分析以及实现的编码过程。

为什么要搞这个？

在我的日常学习和工作中，经常遇到以下几个需求场景：

1）跨服务器的文件共享：因为我们目前有两台服务器，有时需要在服务器之间同步配置文件或共享资源。

2）简单的文件传输：对于某些单文件传输的任务，现有工具配置较复杂，使用成本较高。希望能有一个简易的工具，不依赖复杂的配置和额外的库。

3）文件列表管理与下载：需要方便地列出文件存储目录中的内容，并支持选择性下载某些文件。

技术点分析

为了满足上述需求，我需要实现一个功能完整的文件传输工具。以下是一些关键技术点和设计思路：

TCP通信

使用 TCP 协议构建文件传输工具，确保传输的可靠性。实现客户端和服务器的双向通信，用于文件传输、列表查询等功能。

文件传输机制

通过 TCP 套接字发送和接收文件内容。客户端在上传文件时需要传递文件元信息（文件名和大小），以便服务器正确创建文件。

命令解析

支持多种命令（如 LIST、UPLOAD 和 DOWNLOAD），让工具更易扩展。

进度条展示

使用第三方库 pb 在终端展示传输进度条，提升用户体验。

工具开发过程

接下来，我将分享从零开始实现这个工具的完整过程。

首先的整体的机制：服务器监听一个固定的端口，接受客户端的 TCP 连接。根据客户端发送的命令执行不同的操作，在Upload操作时可以指定操作类型，比如查询文件列表等。

文件传输服务端

需要支持命令启动，而且在启动时能够指定端口号、文件保存的目录等，所以就需要使用Go语言的cobra插件。

main.go文件

var rootCmd = &cobra.Command{Use: "",Run: func(cmd *cobra.Command, args []string) {fmt.Println("Running myapp...")},
}func main() {rootCmd.AddCommand(ClientCmd())rootCmd.AddCommand(ServerCmd())if err := rootCmd.Execute(); err != nil {panic(err)}
}
server命令代码实现

先定义命令参数和默认值，比如port, webport代表要启动的TCP服务端口号和Web服务端口号，path, secret代表文件的保存路径和将来可能要做安全机制的密码功能。

const (DefaultPathDir    = "tmp"DefaultServerPort = 8088DefaultWebPort    = 8089
)var (port, webport intpath, secret  string
)

主要方法：

func ServerCmd() *cobra.Command {command := &cobra.Command{Use: "server",Run: func(cmd *cobra.Command, args []string) {quit := make(chan os.Signal, 1)signal.Notify(quit, os.Interrupt, syscall.SIGTERM)initCommand()go func() {runHttpServer()runServer(port, path)}()<-quit},}command.Flags().StringVarP(&path, "path", "", "", "path to serve")command.Flags().StringVarP(&secret, "secret", "", "", "path to serve")command.Flags().IntVarP(&port, "port", "", 0, "path to serve")command.Flags().IntVarP(&webport, "webport", "", 0, "path to serve")return command
}

支持TCP文件上传的主要逻辑：

func runServer(port int, savePath string) {listener, err := net.Listen("tcp", fmt.Sprintf(":%d", port))if err != nil {fmt.Println("Error starting server:", err)return}defer func() {_ = listener.Close()}()fmt.Println("Server is listening on port", port)for {conn, err := listener.Accept()if err != nil {fmt.Println("Connection error:", err)continue}go handleConnection(conn, savePath)}
}func handleConnection(conn net.Conn, savePath string) {defer func() {_ = conn.Close()}()reader := bufio.NewReader(conn)// 读取文件元信息：文件名和文件大小meta, err := reader.ReadString('\n')if err != nil {fmt.Println("Error reading file metadata:", err)return}meta = strings.TrimSpace(meta) // 清除换行符parts := strings.Split(meta, "|")if len(parts) != 2 {fmt.Println("Invalid metadata received")return}fileName := parts[0]fileSize := 0_, err = fmt.Sscanf(parts[1], "%d", &fileSize)if err != nil {fmt.Println("Error parsing file size:", err)return}// 确保保存路径存在fullPath := filepath.Join(savePath, fileName)if err = os.MkdirAll(filepath.Dir(fullPath), 0755); err != nil {fmt.Println("Error creating directories:", err)return}// 创建文件f, err := os.Create(fullPath)if err != nil {fmt.Println("Error creating file:", err)return}defer func() {_ = f.Close()}()// 创建进度条bar := pb.Start64(int64(fileSize))bar.Set(pb.Bytes, true)defer bar.Finish()// 读取数据并写入文件proxyReader := bar.NewProxyReader(reader)if _, err = io.Copy(f, proxyReader); err != nil {fmt.Println("Error saving file:", err)return}fmt.Println("File received:", fullPath)
}

启动服务端：

go build ./FTransferor server --path filepath --port 8081
后续会考虑支持的功能

1）文件列表功能：通过读取服务器的文件保存目录，列出所有文件。如使用 LIST 命令返回文件名列表。

2）文件下载功能：客户端通过 DOWNLOAD <filename> 命令请求文件。服务端确认文件存在后，先发送文件大小，然后传输文件内容。

文件传输客户端

客户端主要就是能够接收命令参数找到服务端、指定自己要上传的文件，然后就是支持文件上传。

参数定义：

server为将要上传的服务端地址，file为要进行上传的文件名次，action参数为客户端的操作，如LIST、DOWNLOAD等，后续会进行扩展。

var (server, file, action string
)

主要的client方法：

func ClientCmd() *cobra.Command {command := &cobra.Command{Use: "cli",Run: func(cmd *cobra.Command, args []string) {startClient(server, file)},}command.Flags().StringVarP(&server, "server", "", "", "path to serve")command.Flags().StringVarP(&file, "file", "", "", "path to serve")command.Flags().StringVarP(&action, "action", "", "", "path to serve")return command
}

文件上传方法：


func startClient(serverAddr string, filePath string) {f, err := os.Open(filePath)if err != nil {fmt.Println("Error opening file:", err)return}defer func() {_ = f.Close()}()// 获取文件信息fileInfo, err := f.Stat()if err != nil {fmt.Println("Error getting file info:", err)return}conn, err := net.Dial("tcp", serverAddr)if err != nil {fmt.Println("Error connecting to server:", err)return}defer func() {_ = conn.Close()}()// 发送文件元信息（文件名|文件大小）meta := fmt.Sprintf("%s|%d\n", fileInfo.Name(), fileInfo.Size())if _, err = conn.Write([]byte(meta)); err != nil {fmt.Println("Error sending metadata:", err)return}// 创建进度条bar := pb.Start64(fileInfo.Size())bar.Set(pb.Bytes, true)defer bar.Finish()// 发送文件数据proxyWriter := bar.NewProxyWriter(conn)if _, err = io.Copy(proxyWriter, f); err != nil {fmt.Println("Error sending file:", err)return}fmt.Println("File sent successfully!")
}

实现效果

1）工具编译

拿到代码后，我们需要在相关操作系统编译成可执行文件，需要go1.23以上的版本，命令：

go mod tidy go build

2）启动服务端

最简单的启动方式就是直接使用默认参数：

./FTransferor server

当然也可以指定参数，比如指定端口号为9910，文件的保存路径为当前目录下的yankaka目录，如果没有该目录会自动创建：

./FTransferor server --port 9910 --path yankaka

3）使用客户端

使用客户端就需要输入必要的参数了，因为TCP是点对点链接，客户端必须要有一个连接目标，下面就上传一个文件看下效果：

./FTransferor cli --server yankaka.chat:9910 --file go1.23.3.linux-amd64.tar.gz

此时会显示一个进度条，就是文件上传的进度和上传速度：

服务端也会显示，并在上传成功后有提示：

上传完成后看下目标目录的相关文件是否存在：

发现是存在并且正常的，至此我们这款文件上传工具的基本功能就已经实现了！

收获与总结

通过手撸这个文件传输工具，我对TCP编程有了更深刻的理解，其实有些功能并不需要利用HTTP、RPC等上层协议进行实现，更别说各种各样的框架了，最简单的功能往往TCP协议就足够了。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/62796.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

新手参加2025年CTF大赛——Web题目的基本解题流程

新手参加2025年CTF大赛——Web题目的基本解题流程

CTF&#xff08;Capture the Flag&#xff09;是网络安全比赛中的一种常见形式&#xff0c;参赛者需要通过破解题目、发现漏洞并获取flag&#xff08;标志&#xff09;来获得分数。 这些问题涉及多个领域&#xff0c;如逆向工程、Web安全、密码学、二进制漏洞、取证分析等。CTF…
阅读更多...
1Panel 自建邮局 - Docker Mailserver

1Panel 自建邮局 - Docker Mailserver

本文首发于 Anyeの小站&#xff0c;点击链接 访问体验更佳 前言 首先发一段劝退说辞&#xff1a;我相信点进本文的人自建邮局的目的更多地是为了能用自己的域名邮箱&#xff0c;收发邮件&#xff1f; 仅收不发&#xff0c;推荐使用 https://www.cloudflare.com/zh-cn/develop…
阅读更多...
【Maven】功能和核心概念

【Maven】功能和核心概念

1. 什么是Maven 1.1 Maven的概念 Maven 是 Apache 软件基金会组织维护的一款自动化构建工具&#xff0c;专注服务于 Java 平台的项目构建和依赖管理。 1.2 为什么要使用Maven&#xff1f; 在项目开发中&#xff0c;我们需要引用各种 jar 包&#xff0c;引用的 jar 包可能有…
阅读更多...
企业网站面临的爬虫攻击及安全防护策略

企业网站面临的爬虫攻击及安全防护策略

在当今数字化时代&#xff0c;企业网站不仅是展示企业形象的窗口&#xff0c;更是进行商业活动的重要平台。然而&#xff0c;企业网站在日常运营中面临着多种类型的爬虫攻击&#xff0c;这些攻击不仅会对网站的正常访问造成影响&#xff0c;还可能窃取敏感数据&#xff0c;给企…
阅读更多...
vue3 + vite + antdv 项目中自定义图标

vue3 + vite + antdv 项目中自定义图标

前言&#xff1a; 去iconfont-阿里巴巴矢量图标库 下载自己需要的icon图标&#xff0c;下载格式为svg&#xff1b;项目中在存放静态资源的文件夹下 assets 创建一个存放svg格式的图片的文件夹。 步骤&#xff1a; 1、安装vite-plugin-svg-icons npm i vite-plugin-svg-icons …
阅读更多...
安装SQL Server 2022提示需要Microsoft .NET Framework 4.7.2 或更高版本

安装SQL Server 2022提示需要Microsoft .NET Framework 4.7.2 或更高版本

安装SQL Server 2022提示需要Microsoft .NET Framework 4.7.2 或更高版本。 原因是&#xff1a;当前操作系统版本为Windows Server 2016 Standard版本&#xff0c;其自带的Microsoft .NET Framework 版本为4.6太低&#xff0c;不满足要求。 根据报错的提示&#xff0c;点击链接…
阅读更多...
基于yolov8、yolov5的铝材缺陷检测识别系统（含UI界面、训练好的模型、Python代码、数据集）

基于yolov8、yolov5的铝材缺陷检测识别系统（含UI界面、训练好的模型、Python代码、数据集）

摘要&#xff1a;铝材缺陷检测在现代工业生产和质量管理中具有重要意义&#xff0c;不仅能帮助企业实时监控铝材质量&#xff0c;还为智能化生产系统提供了可靠的数据支撑。本文介绍了一款基于YOLOv8、YOLOv5等深度学习框架的铝材缺陷检测模型&#xff0c;该模型使用了大量包含…
阅读更多...
Goland或Idea启动报错

Goland或Idea启动报错

Goland或Idea启动不了 报错如图&#xff1a; 原因&#xff1a;破解导致 解决方案 环境变量中有关Goland的全部删除
阅读更多...
ceph手动部署

ceph手动部署

ceph手动部署 一、 节点规划 主机名IP地址角色ceph01.example.com172.18.0.10/24mon、mgr、osd、mds、rgwceph02.example.com172.18.0.20/24mon、mgr、osd、mds、rgwceph03.example.com172.18.0.30/24mon、mgr、osd、mds、rgw 操作系统版本&#xff1a; Rocky Linux release …
阅读更多...
PMP–一、二、三模、冲刺–分类–8.质量管理

PMP–一、二、三模、冲刺–分类–8.质量管理

文章目录 技巧五、质量管理 一模8.质量管理--质量管理计划--质量管理计划包括项目采用的质量标准&#xff0c;到底有没有满足质量需求&#xff0c;看质量标准即可。6、 [单选] 自项目开始以来&#xff0c;作为项目经理同事的职能经理一直公开反对该项目&#xff0c;在讨论项目里…
阅读更多...
C语言——库函数

C语言——库函数

常用的函数 https://cplusplus.com/reference/ 没事儿多看看 1 数学函数 #include <math.h> #include <stdio.h> int main() {printf("%lf\n", sqrt(4));//开平方根——>double类型printf("%lf\n", pow(2, 10));//求几次方的——>do…
阅读更多...
纯Go语言开发人脸检测、瞳孔/眼睛定位与面部特征检测插件-助力GoFly快速开发框架

纯Go语言开发人脸检测、瞳孔/眼睛定位与面部特征检测插件-助力GoFly快速开发框架

前言​ 开发纯go插件的原因是因为目前 Go 生态系统中几乎所有现有的人脸检测解决方案都是纯粹绑定到一些 C/C 库&#xff0c;如 ​​OpenCV​​ 或 ​​​dlib​​​&#xff0c;但通过 ​​​cgo​​​ 调用 C 程序会引入巨大的延迟&#xff0c;并在性能方面产生显著的权衡。…
阅读更多...
27 基于51单片机的方向盘模拟系统

27 基于51单片机的方向盘模拟系统

目录 一、主要功能 二、硬件资源 三、程序编程 四、实现现象 一、主要功能 基于STC89C52单片机&#xff0c;采用两个MPX4115压力传感器作为两路压力到位开关电路&#xff0c; 采用滑动变阻器连接数模转换器模拟重力加速度传感器电路&#xff1b; 一个按键控制LED灯的点亮与…
阅读更多...
win10环境mysql8.4免安装版配置

win10环境mysql8.4免安装版配置

下载后解压 dos管理员&#xff0c;进入bin目录 mysqld -install net start mysql 出现错误&#xff0c;服务无法启动 MySQL 服务正在启动 . MySQL 服务无法启动。 服务没有报告任何错误。 请键入 NET HELPMSG 3534 以获得更多的帮助。 services.msc&#xff0c;查看服务…
阅读更多...
centos更换源文件，换源，替换源

centos更换源文件，换源，替换源

期初怎么折腾就是不行&#xff0c;换了源也是不能使用的&#xff0c;最后发现不是换的源不行&#xff0c;而是之前的源文件不行&#xff0c;然后给所有的源文件在yum源统一放在了bak目录下&#xff0c;随后我们再去下载安装源文件。 您将yum源下载之后&#xff0c;先将您的其他…
阅读更多...
网络安全之IP伪造

网络安全之IP伪造

眼下非常多站点的涉及存在一些安全漏洞&#xff0c;黑客easy使用ip伪造、session劫持、xss攻击、session注入等手段危害站点安全。在纪录片《互联网之子》&#xff08;建议搞IT的都要看下&#xff09;中。亚伦斯沃茨&#xff08;真实人物&#xff0c;神一般的存在&#xff09;涉…
阅读更多...
蓝牙定位的MATLAB仿真程序|基于信号强度的定位，平面、四个蓝牙基站（附源代码）

蓝牙定位的MATLAB仿真程序|基于信号强度的定位，平面、四个蓝牙基站（附源代码）

这段代码通过RSSI信号强度实现了蓝牙定位&#xff0c;展示了如何使用锚点位置和测量的信号强度来估计未知点的位置。它涵盖了信号衰减模型、距离计算和最小二乘法估计等基本概念。通过图形化输出&#xff0c;用户可以直观地看到真实位置与估计位置的关系。 文章目录 蓝牙定位原…
阅读更多...
机器学习算法（六）---逻辑回归

机器学习算法（六）---逻辑回归

常见的十大机器学习算法&#xff1a; 机器学习算法&#xff08;一&#xff09;—决策树 机器学习算法&#xff08;二&#xff09;—支持向量机SVM 机器学习算法&#xff08;三&#xff09;—K近邻 机器学习算法&#xff08;四&#xff09;—集成算法 机器学习算法&#xff08;五…
阅读更多...
Attention显存统计与分析

Attention显存统计与分析

Attention显存估计 简单的Attention函数 import torch import torch.nn as nn import einops class Attention(nn.Module):def __init__(self, dim, num_heads8, qkv_biasFalse, qk_scaleNone, attn_drop0., proj_drop0.):super().__init__()self.num_heads num_headshead_d…
阅读更多...
Spring系列之批处理Spring Batch介绍

Spring系列之批处理Spring Batch介绍

概述 官网&#xff0c;GitHub A lightweight, comprehensive batch framework designed to enable the development of robust batch applications vital for the daily operations of enterprise systems. 执行流程 实战 假设有个待处理的任务&#xff0c;如文件batch-tes…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023