今天突然收到一笔 PayPal 的 20 美元的转账，一开始看到邮件的时候还以为是垃圾邮件之类的，仔细一看没想到是真的。第一次收到开源项目的捐赠，说实话还有点激动。并不是钱的问题，而是自己的开源项目得到肯定，那种成就感与满足感是难以言说的。 本身做开源项目也是自己的兴趣与爱好，编写的也都是自己想要编写的代码，比起业务代码的枯燥，千篇一律，做自己的项目更能让自己灵感勃发，拥有成就感与满足感，甚至是废寝忘食。 作为一个程序员，从开源社区也是获益良多，而我觉得最好的回馈方式就是同样做开源项目，回馈社区。而身边却似乎很少能找到与自己同样想法的人，或为生活，或为利益，本身并不是热爱编程。而真正编程乐趣所在，也只有志同道合的人之间才能相互理解吧。与代码打交道，总是比复杂的任性要简单得多。
项目地址 https://github.com/long2ice/synch mysql2ch mysql2ch 从二月份开始到现在已经接近四个月，项目起初是源于公司的需求，同步 MySQL 的数据到 ClickHouse 进行分析与统计。当时调研了一圈，发现并没有符合需求的项目，只找到一个勉强可用的，于是在该项目之上进行开发与完善。 synch mysql2ch 项目改名为 synch，其主要原因在于 mysql2ch 支持了 postgres 的同步，再取名为 mysql2ch 就有些不合适了，遂改名为 synch，意思是同步到 ClickHouse，其项目目标是同步其它类型的数据库到 ClickHouse 中。 当前架构 设计与实现 最开始的版本非常简陋，只是实现了监听 mysql binlog 然后直接插入到 ClickHouse。在后续的开发与迭代中，逐渐实现了以下功能，以及引入了中间件。 命令行 命令行对于一个独立程序是有必要的。命令行程序可以接受自定义的参数，通过在程序指定不同的参数，可以使用其不同的功能，对于那些需要每次启动都可能会不同的参数，将其放在命令行参数中是有必要的。 配置文件 丰富的配置项可以将程序的自定义配置暴露出来，以满足个性化的运行需求，增强程序的自定义性。 模块分离 该项目分为三个模块，除了源数据库与目标数据库，也就是 ClickHouse 之外，包含生产端、消息队列、消费端。模块的分离是为了解耦，各个模块专注于自身的功能实现以及可靠性。以及借助于消息队列，实现分布式消费。 消息队列 消息队列的引入是为了增加程序的健壮性以及增加生产与消费的性能。通过引入消息队列，将 binlog 先缓冲到消息队列中而不是直接插入到 ClickHouse，避免了当程序崩溃时内存数据的丢失。并且借助于消息队列的 ack 机制，可以保证消息的可靠消费；以及借助消息队列的高吞吐量，将消费者与生产者分离，生产者与消费者之间互不影响，异步工作。 另外一点考虑到 binlog 的有序性，消息队列的选型也是需要考虑的，目前选择了 kafka 和 redis。redis5.0 提供了原生的消息队列并且具有所有消息队列该有的功能，并且消息是有序的，其轻量的特性在并发量不那么大的时候是一个很好的选择；而选择 kafka 是因为其强大的吞吐量，并且单个 topic 的单个分区也是有序的，可以很好的对应需要同步的数据库与数据库表。 redis redis 的引入其一是为了缓存 MySQL 的 binlog，因为 MySQL 的 binlog 是不断在变化的，当程序崩溃或重启时，需要记录当前的 binlog，然后下次启动时需要从上次的位置继续监听；其二是作为消息队列，相比 kafka 而且因为本身既作为缓存组件也作为消息队列，组件依赖较少。 ...
在使用 k8s 的时候，偶然遇到了一个问题，就是死活删不掉 namespace。这个 namespace 处于 Terminating 状态已经十多天，虽然对 k8s 本身并没有什么影响，但是对于我这种强迫症来说很痛苦。 网上也查询了很多种处理方式，大部分都是讲 namespace 以 json 格式导出，然后删除spec部分，再调用 rest 接口，然而我一直都没有成功。 最后不知道在哪里看到一篇文章，直接调用 etcdctl，执行docker exec -it etcd etcdctl del /registry/namespaces/delete-me，因为我的 etcd 是一容器安装的，最终删除成功，治好了强迫症。
夜深，音箱里播放着舒缓的音乐，却怎么也无法让内心平静下来。 屋里又只剩下一个人，门窗紧闭着，有些让人沉闷。窗外似乎下着小雨，又听着车来车往的声音，来去匆匆，也不知目的何处。 好像突然之间就迷茫了。 不知道该做什么，又好像什么都提不起兴趣。反复打开，关闭，鼠标好像漫无目的地胡乱点击，一会儿又打开 github，一会又打开 IDE，又上会儿 v2，然后最终迷失了。 已经好久不曾玩游戏了，总觉得肩上的担子很重，又觉得玩游戏好像很浪费时间，想着还不如做些更有意义的事情，却再也回想不起很久以前玩游戏的心情了。 不知是生活改变了自己，还是自己改变了生活。 总觉得现在做的事情不是自己想做的，却不得不做，多少身不由己，也无从说起。 夜深了，明天终会如期而至。
简介 FastAPI-admin 是一个基于fastapi和 tortoise-orm和rest-admin的后台管理面板。 FastAPI-admin 提供了开箱即用的 CRUD，只需少量的配置。 在线 demo 地址 https://fastapi-admin.long2ice.io 用户名: admin 密码: 123456 数据会每天进行重置。 预览 快速开始 本地运行样例 查看examples。 执行git clone https://github.com/long2ice/fastapi-admin.git. 创建数据库fastapi-admin并且导入examples/example.sql。 执行python setup.py install。 执行env PYTHONPATH=./ DATABASE_URL=mysql://root:123456@127.0.0.1:3306/fastapi-admin python3 examples/main.py： INFO: Uvicorn running on http://127.0.0.1:8000 (Press CTRL+C to quit) INFO: Started reloader process [89005] INFO: Started server process [89009] INFO: Waiting for application startup. INFO: Tortoise-ORM startup connections: {'default': 'mysql://root:123456@127.0.0.1:3306/fastapi-admin'} apps: {'models': {'models': ['examples.models'], 'default_connection': 'default'}} INFO: Tortoise-ORM started, {'default': <tortoise.backends.mysql.client.MySQLClient object at 0x110ed6760>}, {'models': {'Category': <class 'examples.models.Category'>, 'Product': <class 'examples.models.Product'>, 'User': <class 'examples.models.User'>}} INFO: Tortoise-ORM generating schema INFO: Application startup complete. 执行cd front && npm install && npm run serve: ...