Social Networks

2015-12-12 · 阅读 3949

遇到的瓶颈 每个站维护一套推送逻辑，实际上是重复劳动。比如，推送美女图片和推送家居图片在逻辑上没有本质的区别，都是 tumblr -> 其他平台的过程。反而需要在每个站上维护相同的一套 oauth 授权。 独立成平台的好处 授权统一管理 充分利用服务器集群。例如，同时利用上所有国内、国外服务器，以及终端资源（笔记本、手机） 甚至可以做成对外服务 所有站资源共享，交叉推广 节省了重复搭建的耗时 实现逻辑 推送平台需要维护 推送 id 描述 session notes - 例如，包含哪些账号等 ...

阅读全文...

2015-12-12 · 阅读 5746

玩，就得遵守游戏规则 Pinterest 是禁止成人内容的，但是通过爬虫爬取的图片很难保证不存在这样的内容，所以需要对上传到 Pinterest 的图片做筛选分级，保证提交到 Pinterest 的图片即具有吸引力，同时又不违反 Pinterest 的政策。 又快又有效的实现方式 每天爬取的图片数量不大，所以人工审核成本并不高。就算量很大，实际上也不要全部审核，能挑出几张图片就已经足够了。 可选技术实现方案： 专门写个带 UI 的后台。缺点，工作量大 在前端加审核按钮。权限控制也挺麻烦 使用 Slack bot 进行图片分级。这个靠谱 新建一个 Outgoing WebHooks，发送到 ...

阅读全文...

2016-05-05 · 阅读 4200

风险分摊 Don ' t put all eggs in one basket 在添加了某个关键词，以及分类之后，pinterest 账号被封了。然后，流量入口失去了三分之一。 客观的看，这种事情发生是不可避免的。就算能把握好时间窗口，这种风险仍然很高。如何分摊这种风险？ 业务多样化 更多类型社交账号，每种类型也注册多个账号。分散到多个 ifttt 账号。 阅读 FAQ 多域名 虽然账号被封很失落，但是用如此小的代价明白这个道理值得。 ...

阅读全文...

2016-05-14 · 阅读 4739

三方数据建站的思路 历史数据一次性爬取完 利用获取到的数据，分析出一定的有价值的结论/数据。或者是非结构化的数据，转换成结构化的数据。 再考虑数据更新的问题。以及更多数据源的问题。 新的数据是否应该出现在首页是需要谨慎处理的。 常见单词 PM me - private message me Do NOT post excessive "thank you" posts for the purpose of inflating your post count. excessive - 过度的 inflate - 膨胀 But made a cool few gr ...

阅读全文...