AI

2023-03-26 · 阅读 4234 · 字数 488

从 roboflow 标注数据之后，导出的 YOLO v5 PyTorch 配置文件 YAML 格式 (TXT annotations and YAML config used with YOLOv5)，里面的文件路径非常不友好，每次都需要修改调整。 特别是要上传到 colab 训练，在 google drive 里在线修改 yaml 文件非常麻烦。因为为了防止 Exception: Dataset not found 我都是用的绝对路径。 我的疑问是，是否存在一种路径组织方式可以同时满足本地和线上 (colab / kaggle)，不需要来回改本地绝对路径。 周末陪我妈在毓璜顶医院排队做 ...

阅读全文...

2023-03-30 · 阅读 5796 · 字数 281

模型文件格式有哪些 PyTorch生成的模型文件格式主要有以下几种： .pt/.pth 文件：这是 PyTorch 默认的模型保存格式，通常使用 torch.save() 函数保存。可以保存模型的全部参数，包括模型结构、权重和其他相关信息。还有 ptl 文件，例如 yolov5 pytorch mobile 模型导入 Android，实现图片目标检测 .tflite: TensorFlow Lite 用于 Android 上运行。 .coreml: CoreML 用于 ios / mac 系统上运行。 .onnx 文件：ONNX是跨平台的深度学习模型表示方法，可以将不同框架中训练好的模型转 ...

阅读全文...

2024-10-17 · 阅读 2132 · 字数 93

幼苗数据集，英文为 plant seedlings dataset。 https://www.kaggle.com/competitions/plant-seedlings-classification/data train 目录下有 221 张 Common wheat 的图片。 共十种植物的幼苗图片集。 Black-grass Charlock Cleavers Common Chickweed Common wheat Fat Hen Loose Silky-bent Maize Scentless Mayweed Shepherds Purse Small-flowered Cran ...

阅读全文...

2023-03-20 · 阅读 4003 · 字数 660

ChatGPT 已经火了一段时间了，我之前没有在实际工作中体验过这个工具，但是这个周由于看了百度文心一言的发布会，突然来了兴趣。 总体感受 非常震撼。ChatGPT 在很多问题的解答上，已经远远超过 Google 搜索带来的解决能力。例如，我问了两个关于 TR069 协议的问题，这两个问题我在 Google 上怎么搜都都不到满意的解答，github 上的开源代码也没有标准的做法，官方 pdf 文档也乱七八糟没有头绪。但是，ChatGPT 瞬间梳理了整个逻辑，而且给出了两个行之有效的解决方案。 我又尝试问 ChatGPT 如何实现一些 golang，或者 android 相关的代码如何实现的问题 ...

阅读全文...

2023-03-19 · 阅读 3086 · 字数 587

下午写代码的时候，顺便看了百度的文心一言发布会。看起来百度还是没有底气。用录制好的 demo 来演示。。。直播过程中，留言评论都是机刷，不敢放开评论功能，这个公司的文化真是谜一般。 估计是担心像 google 一样发布会出错，导致股票大跌。看了一下百度股价，发布会时一度大跌 9% 不过，敢于国内第一个发布 ChatGPT 的竞品，也算是有勇气了。 比较实用的几个应用场景 写藏头诗 用四川话阅读 生成海报图：这个估计是文心一格的功能，试用过一次生成 App 图标，无论是生成图片的质量、速度、价格都非常失望。短时间内无法替代人类设计师。 生成视频，用来生成产品的推广短视频很合适。但带来的问题是， ...

阅读全文...

2023-03-04 · 阅读 3620 · 字数 92

Segmentation Models Pytorch (SMP) 是一个基于 PyTorch 的 python 库，使用神经网络对图片进行分割的 。 https://github.com/qubvel/segmentation_models.pytorch 安装 pip conda install pip 设置国内的镜像源 pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple 因为安装时会自动下载 pytorch，大概 160M，要想加速还是换国内的源比较好。上面是清华大学的源。 安装 SMP p ...

阅读全文...

2023-03-30 · 阅读 5783 · 字数 337

CUDA CUDA 是 Nvidia GPU 提供的软件 API。 查看显卡型号 Windows 11，我的电脑 - 右键属性 - 设备管理器 - 显示适配器 例如，我这个 Dell 台式机是： NVIDIA GeForce GT 710 Intel(R) UHD Graphics 630 而我的笔记本则是 AMD 的显卡。 这些 GPU 都不支持 CUDA，GT 710 则是因为太老，也不支持。 查看 pytorch 是否支持 CUDA > python Python 3.10.9 Type "help", "copyright", &quo ...

阅读全文...

2023-01-05 · 阅读 3336 · 字数 356

构建神经网络的两种方式 PyTorch 有两种构建神经网络的方式： 简单粗暴式：使用 torch.nn.Sequential 类，初始化时，传入一系列操作 (operation) 通用式：定义 torch.nn.Module 的子类 由于涉及的新概念非常多，所以拆分成两个笔记。这里就先了解一下第一种方式。 torch.nn.Sequential https://pytorch.org/docs/stable/generated/torch.nn.Sequential.html CLASS torch.nn.Sequential(*args: Module) CLASS torch.nn.S ...

阅读全文...

2023-01-04 · 阅读 4427 · 字数 479

在 PyTorch 的教程及书籍中，经常会看到神经网络这个词。 英文是：neural network。 neural 是个形容词，神经的，神经系统的。中文发音：呢若 / 牛若。 代码中也常见到 torch.nn # 或者是 from torch import nn nn 即是 neural network 的缩写。 神经网络是由一堆神经元(neuron)组成。神经元以层(layer)的形式组织起来。 神经网络的作用 简单来说，一个神经网络就是一套算法，自动推导出输入数据与其对应的输出数据（结果）之间的关系。 举个例子，假如你有一套数据集，里面记录了历年的高考成绩，所在省份，及填报志愿的学校 ...

阅读全文...

2022-09-05 · 阅读 4632 · 字数 926

Datasets and Dataloaders Dataset (torch.utils.data.Dataset) 存储了样本及其对应的标签。 DataLoader (torch.utils.data.DataLoader) 方便访问 Dataset。 Dataset 的类型 图片 文本 音频 等等。 现成的 Dataset 有哪些 例如, FashionMNIST。 >>> from torchvision import datasets >>> dir(datasets) ['CIFAR10', 'CIFAR100', 'CLEVRClass ...

阅读全文...

2022-09-03 · 阅读 3076 · 字数 229

无论是 PyTorch 还是 TensorFlow，我们首先都会遇到一个基础概念，张量 (Tensor)。 张量 (Tensor) 的作用 模型 (Model) 的输入和输出都是用张量 (Tensor) 表示的。 张量 (Tensor) 是什么 张量 (Tensor) 就是一种数据结构，类似数组 (array)，矩阵 (matrix)，向量 (vector)。 更形象地理解张量 (Tensor) 例如，如果我们要做一个二手车价格预测模型 (Model)，那么如何表示一辆二手车呢？ 就可以用一个一维数组来表示，每个元素代表： 生产年份 形式里程数 品牌 事故数 是否泡水过 等等。 也就是，用 ...

阅读全文...

2023-03-10 · 阅读 3367 · 字数 616

之前用 OpenCV 实现的一个小麦图像识别的 Android APP，但是做到第二版时， 想增加功能，发现大部分类似项目都是用 PyTorch 实现的，所以不得不换技术方案。 可是断断续续看了一个多月的 PyTorch，发现自学效果不佳，连代码都没怎么写。 可能都是在等车，或者车上看的，没有实际敲代码，所以理解不深。 PyTorch 市面上的书籍非常多，但我看的几本口碑不错的书，都是虎头蛇尾。 前面讲的挺细致，比如基础概念、一些原理之类的，还能接受。 但是，一旦到了解决实践问题的章节，需要大量代码说明的部分，就完全滥竽充数。 也不知道是为了水一本书，还是里面确实有核心的业务逻辑不舍得分享， ...

阅读全文...

2023-03-04 · 阅读 5894 · 字数 326

安装 conda 从介绍来看 conda 是一个比 pip 更强大的包管理工具，除了支持 python 的包管理也支持其他语言。 https://conda.io/projects/conda/en/latest/user-guide/install/windows.html 里面有两个安装包 Miniconda 和 Anaconda，如何选择呢？ Miniconda installer = Python + conda （即内置了 Python 安装包，非常方便） Anaconda installer = Python + conda + meta package anaconda 大概 ...

阅读全文...

2018-10-02 · 阅读 11158

在监督学习 （supervised learning）中，机器学习算法的目标是通过检验一堆 examples, 建立一个模型 (model)，以最小化 loss。 这个 loss，我的理解是，设置一个阈值，当曲线与 example 点的偏差小于某个差值时，表示这个 example 可以接受，否则则是 loss。训练出的最佳 model 即是能接受最多的 examples 的 model. 假设 x 轴代表博客文章数，y 轴代表日 UV，那么 Good 曲线比 bad 曲线的预测效果更好。 所以评判一个训练的出的 model 的好坏，就是判断其对 examples 的 loss 的多少。Lo ...

阅读全文...

2018-10-02 · 阅读 11712

这个图是每分钟蟋蟀叫的次数，与温度的关系。 W 代表 Feature x 的权重，一个 Linear Regression 中，可能包含多个 Feature。即，可能有多个因素影响结果。 B 截距，即所有 feature 均为 0 时，y 的值。联系一元一次方程的直线与 y 轴的交点。 ...

阅读全文...