Говорити, співати, писати, викладати, видавати... можна українською, по-українському, по-українськи.
Якщо не вірите нам, то ми ще процитуємо Олександра Пономарева:
"Маємо три варіанти. Найпоширеніший - українською мовою. Рідше вживаний - по-українському, ще рідше - по-українськи. Напр.: "Багато перлин світового красного письменства перекладено українською мовою" (журн.); "Це така книжка, що в ній усе понаписувано по-нашому, по-українському" (С. Васильченко), "Молоденький перекладач з чорними вусиками мелодійним голосом повторив присуд по-українськи" (Ірина Вільде)".
sum.in.ua/s/perekladaty
Більшість моїх оповідань перекладені на російську мову… Перекладають і на інші мови: польську, німецьку, італійську, норвезьку, іспанську, мадярську (Михайло Коцюбинський, III, 1956, 282); Ще за життя Кобзаря, починаючи з 1860 року, почали перекладати його твори чеською мовою (Наука і життя, 3, 1961, 18)
Тут словник пише, що на «Уживається при позначенні мови як засобу спілкування між людьми.»
Також у мене є деякі сумніви щодо «говорити по-українськи». В загальному випадку «по-українськи» — це те ж саме, що «на український лад» (напр., «Він розмовляв англійською по-українськи — з геканням і вільним порядком слів»).