华新 - 【房】特意赶制了一个新加坡的中介组屋交易搜索网站方便大家开撕

我的源代码开放的，欢迎去看，顺便给个star，其实我还想晚一点把这个数据load进去mongoDB，然后我自己再从mongoDB里面读出来。因为他的API提供不了我想要的统计数据，如果所有统计都写在angular里面太奇怪了，理论上倒是也可以把逻辑都写在UI code里面。
data.gov本来就是为了给developer折腾的吧，你不折腾就是看不起政府的智慧国计划

[本文发送自华新iOS App]

欢迎来到华新中文网，踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版所有回复从这里展开收起列表

在 vvos 的大作中提到：

大牛太厉害了你可以开课教教我们怎么拿数据做database吗？这个对financial analysis太有用了

可以啊

我再发布个页面解释一下每一步怎么做吧

[本文发送自华新iOS App]

欢迎来到华新中文网，踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版所有回复从这里展开收起列表

在米子的大作中提到：

Mongodb 的备份和一些utility比较容易，想之间的其实商业软件比如Oracle, ms SQL的参数很多的，成百上千。 mongodb 的document data type 比较flexible, 号称是为了大数据扩展方便。你没搭replication 那步吧？自己玩玩。想知道你的程序设计的 pipeline, 整个workflow自动了吗 ? 没准多加几个人你能开公司了。哈哈　

爬数据不是自动的，要自己在合适时间运行程序

不过只要数据爬进去mongoDB网页就会自动显示，修复mongoDB里面的数据需要自己写javascript。顺便强调一下，中介那个网站暂时没有用mongoDB，现在只是拿了data gov的数据。不用自己维护原始数据感觉太好了，但是价值就少了很多，最值钱的其实还是数据。
虽然mongoDB不需要有schema我还是强迫自己follow一定的schema，我还是习惯把它当成oracle来用，只不过会重复存很多数据这样就不用自己join不同的collection了。

[本文发送自华新iOS App]

欢迎来到华新中文网，踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版所有回复从这里展开收起列表

在 dragon12 的大作中提到：

我也这样做过把政府网站API提供的数据存进mongoDB再分析，这样不用每次都访问API了，用户看到的数据是从mongoDB来的。

我觉得访问API不是问题

但是它的API给的选择太少了，我放进MongoDB以后还会自己写个服务器端的程序提供各种各样我要的API，比如

/top10agent
/top10agentbyarea/:area
/topagentforseller
/topagentforbuyer
...

[本文发送自华新iOS App]

欢迎来到华新中文网，踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版所有回复从这里展开收起列表

在 sonatam 的大作中提到：

纯好奇，为啥大家不用mysql？ditto

有永久免费的cloud service吗

只知道AWS前12个月免费

欢迎来到华新中文网，踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版所有回复从这里展开收起列表

在滚雪球的大作中提到：

【房】特意赶制了一个新加坡的中介组屋交易搜索网站方便大家开撕因为CEA的网站实在是太难搜索了，我的这个网站filter和sorting都很好用，只需要输几个字母就能搜出来了，CEA的网站不输全名就搜不出来。数据较多，打开网页请耐心，并且请使用Google Chrome。 https://cshn.github.io/agent-data 　需要我做一个按照HDB成交量的中介动态排名吗？该帖荣获当日十大第2，奖励楼主18分以及27华新币，时间：2019-07-19 22:00:01。 (more...)

排名来了

不过做的不好，没有排序，自己在前端写的数据统计功能，功能有限，别人的aggregation功能都要收费。

这个是2017年1月开始到现在的成交量，大家有目标了吗？