大象笔记

2025-11-08 · 阅读 689 · 字数 1735

公司人事管理系统开发完成之后，就需要导入初始数据。例如，员工花名册。 人事部门手头有一个 Excel 表格，包含了所有员工的基本信息，包括姓名、工号、部门、职位等。 当然，主要目的是将既有员工的员工编号录入系统，后续新入职的则会自动按照规则生成员工编号。 而我又承担了这枯燥繁琐的工作任务😅 之前发过一篇笔记，讨论员工编号的生成规则，大家讨论得还挺热烈，参见前文 人事管理系统开发之三，员工编号号批量生成 🍎 花名册导入方案 方案一：自动将 Excel 转换成 SQL 插入语句，直接导入。这个方案，不太行，因为涉及到子公司和部门的关系，简单的插入语句无法处理这些复杂的逻辑。 方案二：编写一个数据 ...

阅读全文...

2025-11-07 · 阅读 1321 · 字数 714

今天在 GitHub 热榜上看到一款非常有趣的舆情分析软件 BettaFish。 Python 开发的，免费开源，功能强大。非常适合中小企业和个人公司使用。 流量为王的时代，流量决定了公司的命运。我猜测，即便强如雷布斯，也需要时常关注一下舆情动态，才能更好地把握用户需求，调整产品策略。🤣 毕竟靠个人去人肉查询，很可能不够全面，错过重要信息。 项目简介 “微舆” 是一个从0实现的创新型 多智能体 舆情分析系统，帮助大家破除信息茧房，还原舆情原貌，预测未来走向，辅助决策。用户只需像聊天一样提出分析需求，智能体开始全自动分析 国内外30+主流社媒 与 数百万条大众评论。 输入一个话题，就能开始 ...

阅读全文...

2025-11-06 · 阅读 920 · 字数 1077

平时经常要从数据库中导出大量数据，以便在 Excel 或者 WPS 表格中进行分析和处理。 之前一直是用 Excel 格式导出数据，最近尝试用 CSV 格式导出，发现稍微复杂一点的数据，CSV 格式就会出现各种问题 😅。 所以最后放弃使用 mysqldump 直接导出 CSV 文件，还是用 golang 代码生成 Excel 文件，虽然代码复杂了一点，但是导出的数据在 Excel 或 WPS 表格中打开时，没有任何问题。这里记录一下两种文件格式的区别： CSV 是什么？ CSV（Comma-Separated Values，逗号分隔的数据）是一种简单的文本文件格式，用于存储表格数据。每一行代表 ...

阅读全文...

2025-11-02 · 阅读 326 · 字数 688

需要将 MySQL 数据库中的某个表，导出成 CSV 文件格式。方便在 Excel 中查看和修改，然后再导入回数据库。 突然感觉智能表格才是应用的未来。。。因为大家还是习惯在 Excel 中查看和修改数据。 尝试了几种方法，最终发现还是 mysqldump 命令最方便。 mysqldump 导出 CSV 文件 sudo mysqldump -u username -p \ --tab=/var/lib/mysql-files/ \ --fields-terminated-by=',' \ --fields-enclosed-by='"' \ db_name table ...

阅读全文...

2025-10-30 · 阅读 1015 · 字数 490

晚上吃饭的时候，突然接到一个陌生的电话，原来是 N 年前的一个客户，说我开发的一个题库图片 OCR 识别系统不好用了，让我帮忙看看。我第一反应是，不至于啊，这个系统 golang 开发的相当稳定，N 年没有出过问题了。除非： 百度 OCR 接口欠费了 服务器磁盘满了 时间太过久远，我连服务器的 IP 都没有印象了，要了服务的后台地址，我才找到服务器的 IP。登录一看，日志里确实有晚上失败的请求记录。但是日志里却啥有用的信息也没有，完全看不出是因为导致的异常。奇怪的是，3 次请求两次识别，一次成功。能成功就说明不是百度 OCR 接口的事情。 客户说是只有手机拍照的试题照片才会识别失败，而电脑 ...

阅读全文...

2025-10-28 · 阅读 734 · 字数 806

今天线上服务器通过 smtp.gmail.com 发送邮件时，持续报错： fail to send email: 421 4.7.0 Try again later, closing connection. 比较奇怪的是： 在其他服务器上，同样的代码和配置，却能正常发送邮件。 当前服务器上，换成 smtp.163.com 等其他 SMTP 服务器，也能正常发送邮件。 这个发送邮件的服务运行一年多了，今天第一次出邮件无法发送的问题 nc 命令测试 有问题的服务器上测试： # nc -v smtp.gmail.com 587 Connection to smtp.gmail.com (24 ...

阅读全文...

2025-10-27 · 阅读 715 · 字数 1122

继续前文 使用 gobackup 自动将 MySQL 数据库备份到七牛云私有空间，在本地测试了 gobackup 的基本功能之后，今天在几台线上服务器，包括阿里云和腾讯云的各种服务器，依次部署了 gobackup 备份服务。这里记录一下一些踩坑的地方。 消息通知设置 用 163 邮箱设置了邮件通知，测试失败日志如下： 2025/10/27 09:32:58 [Notifier] Running 1 Notifiers 2025/10/27 09:33:18 [Notifier] EOF 从 github issue 看，似乎是不支持 TLS： When send mail via port ...

阅读全文...

2025-10-25 · 阅读 938 · 字数 2375

现在后台开发和运维都是我一个人，所以服务器上的 MySQL 数据库备份也只能自己来做了。 由于服务分散在多台服务器上，并且有几十个数据库需要备份，手动备份实在是太麻烦了。 需要一套自动化的备份流程。定时将数据库导出，并存储到云存储空间中，例如七牛云存储或者阿里云 OSS 上。 备份方案的选择 我昨天纠结了半天，到底用什么方案或者工具来做数据库的自动备份： 手写 shell 脚本。这个很麻烦，因为数据库太多，不同服务对应的云存储还不一样。逻辑复杂，不适合用 shell 脚本来写。 Python 脚本。本来是都开始动手要写了，但是登录了一台服务器，发现居然是 Ubuntu 18.04 系统，Py ...

阅读全文...