github.com/mer0men/JsonlParser

#JsonlParser

Тестовое задание Mail.ru.

В качестве задания требовалось обработать семпл выгрузки из хадупа.
Строка хронит в себе json объект формата:

{
	Url             string   `json:"url"`
	State           string   `json:"state"`
	Categories      []string `json:"categories"`
	CategoryAnother string   `json:"category_another"`
	ForMainPage     bool     `json:"for_main_page"`
	Ctime           int64    `json:"ctime"`
}

Каждую строку требуется распарсить и скачать html по Url, для того, чтобы достать от туда title и description, после чего сохранить данные в Categories[n].tsv в формате Url\ttitle\tdescription

Запуск

go run main.go

Процесс выполнения программы

На вход мы получаем файл 500.jsonl, который попадает в JsonlSiteReader, где считывается построчно.
Каждая строка проходит через json.Unmarshal и попадает в канал(chan Site).
JsonlSiteReader возвращает chan Site, который далее попадает в SiteReceiver.Recive(ctx, chan Site) запущенную в 10 горутинах.
В Recive берется Site из канала, после чего делается GET запрос по Site.Url, через http.Client который берется из SiteReciver.HttpClientPool(sync.Pool)
Ответ запроса парсится через goquery для получения title и description.
После формируется строка формата Site.Url\ttitle\tdescription, которая записывается в буфер(bytes.Buffer) через SiteWriter с использованием sync.Mutex для синхронизации потоков.
SiteWriter хранится в SiteReciver.SiteWriters(sync.Map) для каждой категории(Site.Categories[n]).
Если в мапе нет SiteWriter для полученной категории, то создается новый SiteWriter в который складывается буфер из SiteReciver.BufferPool(sync.Pool).
После получения SiteWriter, проверятся длинна буфера(SiteWriter.Length()), если длина меньше 4096(байт), то производится запись(SiteWriter.Write(str)), иначе произойдет ротация буферов, старый(заполненный) отправиться на запись в файл({Site.Categories[n]}.tsv), а новый будет получен из SiteReciver.BufferPool(sync.Pool).
После того как все сообщения из канала будут обработаны, произойдет запись данных в файлы, что остались в буферах.