Senior Software Engineer (LLM Trainer)

Вакансия для Senior Software Engineer, который будет участвовать в разработке и оценке обучающих данных для платформы человеческих данных, ориентированной на AI-агенты и LLM. В роли на стыке инженерии ПО и искусственного интеллекта нужно будет писать промпты, создавать эталонные решения на код, оценивать выводы моделей и давать структурированный человеческий сигнал для улучшения AI-систем. Задачи включают создание и проверку coding-задач по реальным сценариям (отладка, рефакторинг, генерация кода, API, тесты, производительность, безопасность, граничные случаи), написание корректных и тестируемых reference-решений, оценку AI-кода по рубрикам, сравнение нескольких ответов моделей, поиск багов и галлюцинаций API, работу с терминалом и Git, а также участие в калибровочных активностях. Требуется 5+ лет опыта в backend/fullstack/systems, сильная уверенность в Python/JS/TS/Go/Java/C++/SQL, опыт Terminal-Bench, комфорт с командной строкой и Git, навык критической оценки кода, опыт в AI data production/RLHF/annotation/LLM evaluation, отличный английский, умение работать самостоятельно в удалённом асинхронном окружении. Плюсом считается опыт с Python-воркфлоу, автотестами, Docker, Linux, bash, контейнерами, reasoning по репозиториям и опенсорсом. Нужен перекрытие по PST (GMT-8).

Обязанности

Создание и проверка coding-задач по реальным сценариям разработки ПО (отладка, рефакторинг, генерация кода, использование API, автоматические тесты, производительность, безопасность, edge-кейсы); написание качественных reference-решений, корректных, понятных, тестируемых и соответствующих требованиям; оценка AI-кода и ответов по структурированным рубрикам (корректность, понятность, безопасность, производительность, поддерживаемость, следование инструкциям); сравнение нескольких ответов моделей, выбор strongest answer и обоснование решения техническими аргументами; выявление багов, галлюцинаций API, пропущенных edge-кейсов, слабых объяснений и плохих инженерных решений в AI-выводах; работа с терминальными workflow при необходимости (запуск тестов, отладка, управление зависимостями, навигация по репозиториям); соблюдение детальных guideline и участие в calibration-активностях для обеспечения качества оценок.

Требования

5+ лет профессионального опыта в backend, fullstack или systems; сильная уверенность хотя бы в одном языке (Python, JavaScript/TypeScript, Go, Java, C++, SQL); опыт работы с Terminal-Bench и оценка AI-агентов на терминальных задачах (компиляция, тесты, окружение, многошаговые workflow); комфорт с Git, командной строкой/терминалом и обычными development-процессами; умение критически оценивать код (работает ли, хорошо ли спроектирован, безопасен и поддерживаем); опыт в AI data production, RLHF, data annotation или LLM evaluation; отличный английский устный и письменный; способность работать самостоятельно в удалённом асинхронном fast-paced окружении; высокая внимательность к деталям и умение следовать сложным рубрикальным guideline.

Условия

Удалённая работа; перекрытие по PST (GMT-8); асинхронная fast-paced среда; высокий уровень внимания к деталям и следование сложным рубрикальным guideline.

Откликнуться на вакансию свайпом в Telegram

Зарплату работодатель не указал. Ориентир по вакансиям Swipe Jobs.

Swipe Jobs — поиск работы свайпами в Telegram. Тысячи вакансий из каналов и с сайтов компаний в одной ленте, отклик в один клик прямо в чате с работодателем.