Worker app to render data

[aldy505]

Create a Go app (why Go? because reasons) as a worker for the core backend app, with an HTTP REST system that:

• Generate CSV file, that's stored into the MinIO S3 from the InfluxDB data stream per user
• Generate JSON file, that's stored into the MinIO S3 from the InfluxDB data stream per user

This worker applies a long-polling system, which immediately returns a 200 OK status into the request, just to say if we got the request and will do it in the background.

cc @artileda

[ghost]

ok besok

[ghost]

https://stackoverflow.com/a/50850191

kalo pakai ini tinggal di cron nin aja IMO

[aldy505]

https://stackoverflow.com/a/50850191

kalo pakai ini tinggal di cron nin aja IMO

@artileda hoo tidak semudah itu ferguso. kan harus ngitung:

• typing speed rate
• keystroke deletion rate
• unrelated keys rate
• number of words
• attempts per question
• dll

refer ke ppt disini https://t.me/c/1691679327/21697

[elianiva]

refer ke ppt disini t.me/c/1691679327/21697

or #10, the first section

[ghost]

ga paham

[aldy505]

ga paham dimana?

[ghost]

belum tau

[aldy505]

Summary:

1. Bikin 2 endpoint:
   • POST /fun-fact - Untuk ngefetch data dari InfluxDB dan generate fun fact dari hasil coding test si user. Fun fact ini termasuk:
     • Ngitung WPM (group data jadi per menit, untuk setiap menit dihitung jumlah karakter nya dan dibagi 5)
     • Deletion rate (total user pencet tombol backspace + delete / total tombol yang dipencet * 100%)
     • Attempts per question
   • POST /generate-file - Untuk ngefetch data dari InfluxDB dan generate file dengan format CSV dan JSON. File ini nanti di save di MinIO. Data yang di generate ini nggak cuma dump dari InfluxDB doang. Tapi data yang sebelomnya di generate lewat /fun-fact juga harus ikut,
2. Hati-hati sama race condition, sebisa mungkin. Hati-hati juga kalo berhadapan dengan large data set, antara memory nya nggak kuat (kepenuhan) atau ya datanya gagal ke scan.